Key takeaways
- AI-tools behaalden hogere gemiddelde scores (74 – 78 procent) voor juridische taken dan menselijke advocaten (69 procent).
- AI liet een superieure nauwkeurigheid (rond 80 procent) en traceerbaarheid (rond 76 procent) zien bij het beantwoorden van juridische vragen.
- Terwijl AI beter presteerde dan advocaten bij de eenvoudigste vragen, behielden menselijke advocaten een voordeel bij complexe vragen die een genuanceerd oordeel vereisten.
Een recent onderzoek uitgevoerd door Vals AI, een Amerikaans platform dat zich richt op het bevorderen van generatieve AI, vergeleek de prestaties van kunstmatige intelligentie bij juridische taken met die menselijke advocaten.
AI-tools doen het op sommige vlakken beter dan advocaten
De studie bestond uit het testen van vier generatieve AI-tools – Alexi, Counsel Stack, Midpage en OpenAI (gebruikt als een algemene AI-tool) – en vier menselijke advocaten. De evaluatie was gebaseerd op meer dan 200 echte juridische vragen van acht grote advocatenkantoren in de VS. De onderzoekers beoordeelden de prestaties op basis van drie belangrijke criteria: nauwkeurigheid, traceerbaarheid (de mogelijkheid om bronnen te citeren) en relevantie (gebruiksvriendelijkheid en duidelijkheid).
De AI-tools scoorden indrukwekkend, met een gewogen gemiddelde score tussen 74 procent en 78 procent, en overtroffen daarmee de 69 procent die door menselijke advocaten werd behaald. Wat nauwkeurigheid betreft, scoorde AI gemiddeld rond de 80 procent, terwijl advocaten rond de 71 procent scoorden.
Complexe vragen
Wat betreft geschiktheid scoorden de AI-tools rond de 70 procent, terwijl ChatGPT rond de 67 procent scoorde en advocaten slechts rond de 60 procent. De AI-tools presteerden met name beter dan menselijke advocaten bij 150 van de 200 vragen, met een gemiddeld voordeel van ongeveer 31 procentpunten.
Voor complexere vragen die een diepgaand begrip van de context, grensoverschrijdende analyse of een belangrijk juridisch oordeel vereisen, behielden juristen echter een licht voordeel. Er moet worden opgemerkt dat de AI-instrumenten soms geen antwoorden gaven of een gebrek aan geschikte bronnen aangaven, waarbij Counsel Stack en Midpage respectievelijk vier en drie vragen onbeantwoord lieten.
Vals AI, opgericht in 2023 door Stanford alumni Rayan Krishnan en Langston Nashold, is een onafhankelijk platform dat zich richt op de ontwikkeling van generatieve AI en voert regelmatig benchmarkstudies uit op het gebied van AI. (fc)
Volg Business AM ook op Google Nieuws
Wil je toegang tot alle artikelen, geniet tijdelijk van onze promo en abonneer je hier!