Az Openai kiadja az HealthBench adatkészletét az AI tesztelésére az egészségügyi ellátásban

Kövesse a Drugslib-et

orvosilag felülvizsgálta Carmen Pope, Bpharm. Utoljára frissítve 2025. május 13-án.

2025. május 13., kedd - Az OpenAi egy nagy adatkészletet mutatott be, hogy megvizsgálja, hogy a mesterséges intelligencia (AI) modellek hogyan válaszolnak az egészségügyi kérdésekre.

A szakértők jelentős előrelépésnek hívják, de azt is mondják, hogy további munkára van szükség a biztonság biztosítása érdekében.

Az HealthBenchnek nevezett adatkészlet az OpenAI első nagy független egészségügyi projektje. Ez 5000 „reális egészségügyi beszélgetéseket” tartalmaz, mindegyik részletes osztályozási eszközzel az AI válaszok értékeléséhez, a STAT News jelentése. A francisco-i székhelyű vállalati Health AI csapata elmondta. Az AGI rövidítés a mesterséges általános intelligencia számára.

„Ennek egyik része a technológia kiépítése és telepítése” - mondta Singhal. "Ennek egy másik része annak biztosítása, hogy a pozitív alkalmazások, mint például az Health Care, legyen helye a virágzáshoz, és hogy megfelelő munkát végezzünk annak biztosítása érdekében, hogy a modellek biztonságban és megbízhatóak legyenek ezekben a környezetben.” Több mint 57 000 egyedi kritériumot adtak annak megítélésére, hogy az AI modellek mennyire válaszolnak az egészségügyi kérdésekre.

Az HealthBench célja egy gyakori probléma megoldása: A különböző AI modellek méltányos összehasonlítása. href = "https://www.medstarhealth.org/innovation-and-research/medstar-health-research-institute/principal-investigators/raj-atwani"> raj ratwani , a Medstar Health egészségügyi kutatója.

Az HealthBench 5000 példáját az orvosok által tervezett szintetizált beszélgetések felhasználásával készítették.

Az adatkészlet tartalmaz egy speciális csoportot, amely 1000 kemény példát tartalmaz, ahol az AI modellek küzdenek. Az Openai azt reméli, hogy ez a csoport „méltó célt biztosít a modellek fejlesztésére az elkövetkező hónapokban” - jelentette be a Stat News. Az Openai O3 modellje a legjobban szerezte a legjobbat, különösen a kommunikáció minőségében - jelentette a STAT News.

De a modellek rosszul teljesítettek olyan területeken, mint a kontextus tudatosság és a teljesség - mondta a szakértők.

"Az olyan érzékeny kontextusokban, mint az egészségügyi ellátás, ahol az életről és a halálról beszélünk, ez az átlátszatlanság elfogadhatatlan" - magyarázta Hao.

Ez „elrejtheti a modellek és az osztályosok által megosztott hibákat”, girish nadkarni , a mesterséges intelligencia vezetője és az emberi egészségügy az Icahn Orvostudományi Iskola, a New York-i Stat. További áttekintés a modellek jól valósulása a különböző országokban és a különböző demográfiai adatok között.

“Az HealthBench javítja az LLM egészségügyi értékelését, de még mindig szükség van alcsoport elemzésre és szélesebb körű emberi felülvizsgálatra, mielőtt támogathatja a biztonsági igényeket”-mondta Nadkarni. Biztosítson általános tendenciákat, és ne vonatkozzon az egyénekre. Az egyes tényezők nagyban változhatnak. Mindig kérjen személyre szabott orvosi tanácsot az egyéni egészségügyi döntésekhez.

Forrás: Healthday

Elküldve : 2025-05-14 06:00

Olvass tovább

Felelősség kizárása

Minden erőfeszítést megtettünk annak érdekében, hogy a Drugslib.com által közölt információk pontosak és naprakészek legyenek - dátum, és teljes, de erre nem vállalunk garanciát. Az itt található gyógyszerinformációk időérzékenyek lehetnek. A Drugslib.com információit egészségügyi szakemberek és fogyasztók számára állítottuk össze az Egyesült Államokban, ezért a Drugslib.com nem garantálja, hogy az Egyesült Államokon kívüli felhasználás megfelelő, kivéve, ha kifejezetten másként jelezzük. A Drugslib.com gyógyszerinformációi nem támogatják a gyógyszereket, nem diagnosztizálnak betegeket, és nem ajánlanak terápiát. A Drugslib.com gyógyszerinformációi egy információs forrás, amelynek célja, hogy segítse az engedéllyel rendelkező egészségügyi szakembereket betegeik ellátásában és/vagy olyan fogyasztók kiszolgálására, akik ezt a szolgáltatást az egészségügyi szakértelem, készség, tudás és megítélés kiegészítéseként, nem pedig helyettesítőjeként tekintik. gyakorló szakemberek.

Az adott gyógyszerre vagy gyógyszerkombinációra vonatkozó figyelmeztetés hiánya semmiképpen sem értelmezhető úgy, hogy a gyógyszer vagy gyógyszerkombináció biztonságos, hatékony vagy megfelelő az adott beteg számára. A Drugslib.com nem vállal felelősséget a Drugslib.com által biztosított információk segítségével nyújtott egészségügyi ellátás egyetlen aspektusáért sem. Az itt található információk nem terjednek ki minden lehetséges felhasználásra, útmutatásra, óvintézkedésre, figyelmeztetésre, gyógyszerkölcsönhatásra, allergiás reakcióra vagy káros hatásra. Ha kérdése van az Ön által szedett gyógyszerekkel kapcsolatban, kérdezze meg kezelőorvosát, ápolónőjét vagy gyógyszerészét.

Népszerű kulcsszavak