Key takeaways

• LLM’s hebben moeite met coherente klinische gesprekken.
• AI-chatbots hebben moeite met het verzamelen van volledige patiëntgeschiedenissen.
• Modellen zoals GPT-4 hebben moeite met het nauwkeurig diagnosticeren van medische aandoeningen.

Een recent onderzoek, gepubliceerd in Nature Medicine, werpt licht op de beperkingen van AI-chatbots in de echte medische wereld. Hoewel deze chatbots indrukwekkende capaciteiten hebben laten zien in gesimuleerde examenomgevingen, worden ze geconfronteerd met uitdagingen wanneer ze op een dynamische en onvoorspelbare manier met patiënten communiceren.

Onderzoekers van de Harvard Medical School en Stanford University ontwikkelden een raamwerk genaamd ‘CRAFT-MD’ om grote taalmodellen (LLM’s) te evalueren in realistische interacties met patiënten. Ze ontdekten dat LLM’s, zoals GPT-4, moeite hadden met het voeren van coherente klinische gesprekken, het verzamelen van volledige patiëntgeschiedenissen en het nauwkeurig diagnosticeren van medische aandoeningen.

Beperkingen van AI-chatbots

Ondanks hun succes in gestandaardiseerde examenscenario’s vertoonden deze modellen aanzienlijke problemen bij het navigeren door de complexiteit van echte medische dialogen. Senior auteur Pranav Rajpurkar van de Harvard Medical School benadrukte de noodzaak van grondige evaluatie voordat LLM’s worden ingezet in klinische omgevingen.

Het onderzoek suggereert dat AI-chatbots, hoewel veelbelovend, verder moeten worden ontwikkeld om effectief om te gaan met de nuances en uitdagingen van echte patiëntinteracties in de gezondheidszorg.

Wil je toegang tot alle artikelen, geniet tijdelijk van onze promo en abonneer je hier!