Met een verfijnde grote taalmodellen verbeteren de fout-ID in radiologierapporten

Volg Drugslib op

medisch beoordeeld door Carmen Pope, bpharm. Laatst bijgewerkt op 27 mei 2025.

door Elana Gotkine HealthDay Reporter

TUESDAY, May 27, 2025 -- Large language models (LLMs), fine-tuned on radiology reports, enhance error detection in radiology reports, according to a study published online May 20 in Radiology.

Cong Sun, Ph.D., from Weill Cornell Medicine in New York City, and colleagues developed and evaluated generative LLMs for detecting errors in radiology reports pertaining to health care proofreading in Een retrospectieve studie. Een dataset werd geconstrueerd met twee delen: de eerste omvatte 1.656 synthetische radiologierapporten van de borst gegenereerd door GPT-4 (OpenAI) met 828 foutvrije synthetische rapporten en 828 met fouten. In totaal werden 614 rapporten opgenomen in het tweede deel: 307 foutloos van de Mimic Chest Radiograph (MIMIC-CXR) database en 307 synthetische rapporten met fouten gegenereerd door GPT-4. Met behulp van nul-shot-prompt, weinig-shot-prompt- of verfijningsstrategieën, werden verschillende modellen verfijnd en werden de prestaties van deze modellen beoordeeld.

De onderzoekers ontdekten dat het verfijnde LLAMA-3-70B-instructiemodel de beste prestaties behaalde met behulp van nul-shot-prompt, met F1-scores van 0,769, 0,772, 0,750, 0,828 en 0,780 voor ontkenningsfouten, linker/rechterfouten, intervalveranderingsfouten, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, transcriptie-fout, respectievelijk. Twee radiologen beoordeelden 200 willekeurig geselecteerde rapporten output door het model in een real-world evaluatiefase; 99 werden door beide radiologen bevestigd om fouten te bevatten die door de modellen werden gedetecteerd en 163 werden bevestigd door ten minste één radioloog.

"De bevindingen tonen aan dat verfijningen cruciaal zijn voor het inschakelen van de lokale implementatie van LLM's, terwijl ook het belang van snel ontwerp wordt aangetoond bij het optimaliseren van prestaties voor specifieke medische taken," de auteurs schrijven.

Eén auteur heeft patenten gepland, uitgegeven of in afwachting van het Weill Cornell Hospital.

Abstract/volledige tekst

redactioneel redactioneel (abonnement of betaling kan moeten zijn)

Bron: HealthDay

Geplaatst : 2025-05-28 06:00

Lees verder

Disclaimer

Er is alles aan gedaan om ervoor te zorgen dat de informatie die wordt verstrekt door Drugslib.com accuraat en up-to-date is -datum en volledig, maar daarvoor wordt geen garantie gegeven. De hierin opgenomen geneesmiddelinformatie kan tijdgevoelig zijn. De informatie van Drugslib.com is samengesteld voor gebruik door zorgverleners en consumenten in de Verenigde Staten en daarom garandeert Drugslib.com niet dat gebruik buiten de Verenigde Staten gepast is, tenzij specifiek anders aangegeven. De geneesmiddeleninformatie van Drugslib.com onderschrijft geen geneesmiddelen, diagnosticeert geen patiënten of beveelt geen therapie aan. De geneesmiddeleninformatie van Drugslib.com is een informatiebron die is ontworpen om gelicentieerde zorgverleners te helpen bij de zorg voor hun patiënten en/of om consumenten te dienen die deze service zien als een aanvulling op en niet als vervanging voor de expertise, vaardigheden, kennis en beoordelingsvermogen van de gezondheidszorg. beoefenaars.

Het ontbreken van een waarschuwing voor een bepaald medicijn of een bepaalde medicijncombinatie mag op geen enkele manier worden geïnterpreteerd als een indicatie dat het medicijn of de medicijncombinatie veilig, effectief of geschikt is voor een bepaalde patiënt. Drugslib.com aanvaardt geen enkele verantwoordelijkheid voor enig aspect van de gezondheidszorg die wordt toegediend met behulp van de informatie die Drugslib.com verstrekt. De informatie in dit document is niet bedoeld om alle mogelijke toepassingen, aanwijzingen, voorzorgsmaatregelen, waarschuwingen, geneesmiddelinteracties, allergische reacties of bijwerkingen te dekken. Als u vragen heeft over de medicijnen die u gebruikt, neem dan contact op met uw arts, verpleegkundige of apotheker.

Populaire zoekwoorden