OpenAI выпускает набор данных HealthBench для тестирования ИИ в здравоохранении

Следите за Drugslib на

Медицинский рецензии Carmen Pope, Bpharm. Последнее обновлено 13 мая 2025 года.

I. Edwards Healthday Reporter

Вторник, 13 мая 2025 года - OpenAI представила большой набор данных, чтобы помочь проверить, насколько хорошо модели искусственного интеллекта (ИИ) отвечают на вопросы здравоохранения.

Эксперты называют это важным шагом вперед, но они также говорят, что для обеспечения безопасности необходимо больше работы.

Набор данных, называемый Healthbench, является первым крупным независимым проектом здравоохранения OpenAI. Он включает в себя 5000 «реалистичных разговоров со здоровьем», каждый из которых имеет подробные инструменты оценки для оценки ответов AI, сообщается Stat News. Компания компании Health AI, сказала. Agi является сокращением для искусственного общего интеллекта.

«Одной из них является создание и развертывание технологии», сказал Сингхал. «Другая часть этого заключается в том, чтобы убедиться, что положительные приложения, такие как здравоохранение, имели место для процветания, и что мы выполняем правильную работу, чтобы гарантировать, что модели будут безопасными и надежными в этих условиях».

Набор данных был создан с помощью 262 врачей, которые работали в 60 странах. Они предоставили более 57 000 уникальных критериев, чтобы судить, насколько хорошо модели ИИ отвечают на вопросы о здоровье.

HealthBench стремится решить общую проблему: сравнение различных моделей искусственного интеллекта справедливо. href = "https://www.medstarhealth.org/innovation-and-research/medstar-health-research-institute/principal-investigators/raj-ratwani"> Радж Ратвани , исследователь Health AI в Medstar Health, сказал

.

5000 примеров в Healthbench были сделаны с использованием синтезированных разговоров, разработанных врачами.

Набор данных также включает в себя специальную группу из 1000 жестких примеров, где модели ИИ боролись. OpenAI надеется, что эта группа «обеспечивает достойную цель для улучшений моделей в ближайшие месяцы», сообщила Stat News. Operai's O3 Model набрала лучшее, особенно в качестве качества общения, сообщает STAT News.

Но модели плохо выполнялись в таких областях, как контекст и полнота, сообщили эксперты.

«В чувствительных контекстах, таких как здравоохранение, где мы обсуждаем жизнь и смерть, этот уровень непрозрачности неприемлем», - объяснил Хао.

Это может скрыть ошибки, разделяемые как моделью, так и грейдером », Girish nadkarni , глава искусственного интеллекта и здоровья человека в статике« ИКАНСКИЙ »в« Стату »в« Стату »,« Паролиз »,« Паролиз », в« Стату »и« Стату »,« Паролиз », в« Стату »,« Паролиз ». Для получения дополнительных отзывов, чтобы обеспечить хорошо работать модели в разных странах и среди разных демографических данных.

«Healthbench улучшает оценку здравоохранения LLM, но все еще требует анализа подгрупп и более широкого обзора человека, прежде чем он сможет поддерживать претензии на безопасность»,-сказал Надкарни. тенденции и не относятся к отдельным лицам. Индивидуальные факторы могут сильно различаться. Всегда ищите персонализированные медицинские консультации для индивидуальных решений в области здравоохранения.

Источник: HealthDay

Опубликовано : 2025-05-14 06:00

Читать далее

Отказ от ответственности

Мы приложили все усилия, чтобы гарантировать, что информация, предоставляемая Drugslib.com, является точной и соответствует -дата и полная информация, но никаких гарантий на этот счет не предоставляется. Содержащаяся здесь информация о препарате может меняться с течением времени. Информация Drugslib.com была собрана для использования медицинскими работниками и потребителями в Соединенных Штатах, и поэтому Drugslib.com не гарантирует, что использование за пределами Соединенных Штатов является целесообразным, если специально не указано иное. Информация о лекарствах на сайте Drugslib.com не рекламирует лекарства, не диагностирует пациентов и не рекомендует терапию. Информация о лекарствах на сайте Drugslib.com — это информационный ресурс, предназначенный для помощи лицензированным практикующим врачам в уходе за своими пациентами и/или для обслуживания потребителей, рассматривающих эту услугу как дополнение, а не замену опыта, навыков, знаний и суждений в области здравоохранения. практики.

Отсутствие предупреждения для данного препарата или комбинации препаратов никоим образом не должно быть истолковано как указание на то, что препарат или комбинация препаратов безопасны, эффективны или подходят для конкретного пациента. Drugslib.com не несет никакой ответственности за какой-либо аспект здравоохранения, администрируемый с помощью информации, предоставляемой Drugslib.com. Информация, содержащаяся в настоящем документе, не предназначена для охвата всех возможных вариантов использования, направлений, мер предосторожности, предупреждений, взаимодействия лекарств, аллергических реакций или побочных эффектов. Если у вас есть вопросы о лекарствах, которые вы принимаете, проконсультируйтесь со своим врачом, медсестрой или фармацевтом.

Популярные ключевые слова