Key takeaways

• De Large Language Model (LLM) Checker, ontwikkeld door de Zwitserse startup LatticeFlow, onthult potentiële compliance-problemen met prominente modellen voor kunstmatige intelligentie.
• De modellen van verschillende grote technologiebedrijven behaalden een gemiddelde score van 0,75 of hoger bij de evaluatie van de tool tegen de AI-wet van de EU.
• Belangrijke gebieden waarop bedrijven hun modellen mogelijk moeten aanpassen zijn discriminerende output en prompt hijacking, waarbij sommige modellen een score van respectievelijk 0,37 en 0,38 behaalden.

Een nieuw ontwikkelde tool genaamd de Large Language Model (LLM) Checker, gemaakt door de Zwitserse startup LatticeFlow, heeft potentiële compliance problemen onthuld met prominente kunstmatige intelligentie modellen ontwikkeld door grote tech bedrijven. De checker beoordeelt deze modellen aan de hand van de AI Act van de EU, een uitgebreide verzameling regels die de ontwikkeling en toepassing van kunstmatige intelligentie binnen het blok moeten reguleren. Dit meldt Reuters.

De tool kent aan elk model een score tussen 0 en 1 toe op basis van de prestaties in verschillende categorieën die in de AI Act worden beschreven. Hoewel verschillende modellen, waaronder die van Alibaba, Anthropic, OpenAI, Meta en Mistral, een gemiddelde score van 0,75 of hoger behaalden, wees de checker op specifieke gebieden waar bedrijven hun modellen mogelijk moeten aanpassen om volledig aan de wet te voldoen.

Discriminerende uitvoer en Prompt Hijacking

Discriminerende output, een hardnekkig probleem bij AI-ontwikkeling dat maatschappelijke vooroordelen weerspiegelt, kwam bijvoorbeeld naar voren als een punt van zorg. OpenAI’s GPT-3.5 Turbo kreeg een relatief lage score van 0,46 in deze categorie, terwijl het Qwen1.5 72B Chat-model van Alibaba Cloud met 0,37 nog lager scoorde.

Een ander aandachtsgebied was “prompt hijacking”, een cyberaanval waarbij kwaadaardige prompts worden vermomd als legitieme prompts om gevoelige informatie te ontfutselen. Meta’s Llama 2 13B Chatmodel scoorde 0,42 in deze categorie en Mistral’s 8x7B Instruct-model kreeg een score van 0,38.

Compliance en voorbereiding op regelgeving

Met name Anthropic’s Claude 3 Opus, ondersteund door Google, behaalde de hoogste gemiddelde score van 0,89 in alle geteste categorieën. De LLM Checker is ontwikkeld in samenwerking met onderzoekers van ETH Zürich en INSAIT, volgens de principes van de AI-wet. LatticeFlow is van plan om de tool online vrij toegankelijk te maken, zodat ontwikkelaars proactief kunnen beoordelen of hun modellen voldoen aan de wet.

Petar Tsankov, CEO en medeoprichter van LatticeFlow, benadrukte dat, hoewel de EU nog bezig is met het afronden van specifieke compliance benchmarks, de checker waardevolle inzichten biedt in potentiële hiaten binnen bestaande modellen. Hij is van mening dat AI-leveranciers door zich te richten op optimalisatie voor naleving, zich effectief kunnen voorbereiden op de wettelijke vereisten die worden beschreven in de AI-wet.

Wil je toegang tot alle artikelen, geniet tijdelijk van onze promo en abonneer je hier!