Key takeaways

• Een studie in het gerenommeerde blad Nature toont aan dat ChatGPT Health in meer dan de helft van de spoedgevallen geen gepast noodadvies geeft.
• De AI-tool presteert goed bij tekstboekvoorbeelden zoals beroertes, maar faalt zodra symptomen minder eenduidig zijn.
• Bij meldingen van suïcidaal gedrag reageert het systeem inconsistent, waardoor cruciale hulplijnen niet altijd verschijnen.

ChatGPT Health faalt in meer dan de helft van de spoedgevallen om patiënten naar de juiste acute zorg te verwijzen. Een nieuwe studie van Mount Sinai in New York toont aan dat de AI-tool van OpenAI vooral bij minder eenduidige symptomen de urgentie onderschat. Hierdoor krijgen miljoenen gebruikers die hun medische dossiers koppelen mogelijk een levensgevaarlijk advies om af te wachten.

Blinde vlekken bij acute nood

Onderzoeksleider Ashwin Ramaswamy stelt dat het taalmodel vooral worstelt met situaties waarin het gevaar niet direct zichtbaar is. Tijdens de tests met zestig klinische scenario’s herkende de AI bij een astmapatiënt wel de vroege tekenen van ademhalingsfalen, maar adviseerde desondanks om af te wachten in plaats van hulp te zoeken. Dit contrast is opvallend, omdat de chatbot bij overduidelijke noodsituaties zoals een zware allergische reactie wel correct reageert. De onderzoekers concluderen dat de technologie momenteel geen vervanging is voor het klinische oordeel van een arts.

Geen totaalverbod

Het onderzoek legde bovendien een verontrustend patroon bloot bij de detectie van zelfbeschadiging. ChatGPT Health hoort gebruikers met suïcidale gedachten direct door te verwijzen naar hulplijnen. In de praktijk verscheen de banner met hulpinformatie echter onregelmatig. Paradoxaal genoeg reageerde het systeem betrouwbaarder op algemene meldingen dan op patiënten die al een specifieke methode voor zelfbeschadiging noemden. Juist bij een verhoogde ernst van de situatie bleven de ingebouwde veiligheidsmechanismen dus vaker achterwege.

Ondanks deze resultaten pleiten de auteurs niet voor een totaalverbod op AI-gezondheidstools. Coauteur Alvira Tyagi wijst erop dat deze technologieën al in handen zijn van miljoenen mensen. Volgens haar is het essentieel om te leren hoe we deze middelen doordacht integreren in de zorg zonder ze te zien als vervangers voor menselijke expertise. Omdat AI-modellen continu evolueren, blijft een constante evaluatie noodzakelijk. Voorlopig luidt het advies om bij alarmsymptomen zoals pijn op de borst of ademnood direct contact op te nemen met een zorgverlener en niet te vertrouwen op een chatbot.