Key takeaways

• Intimidatie en geweld zijn de meest voorkomende schadelijke gedragingen van AI-gezellen. Dat blijkt uit een nieuw onderzoek van de Universiteit van Singapore.
• De erotische functie van de AI leidde tot ongewenste seksuele avances en agressief flirten, waarbij het ongemak van de gebruiker werd genegeerd.
• Replika creëerde gewelddadige scenario’s en normaliseerde geweld als een aanvaardbare oplossing.

Een nieuwe studie van de Universiteit van Singapore laat zien dat AI-metgezellen meer dan twaalf soorten schadelijk gedrag kunnen vertonen tijdens gesprekken met mensen. De onderzoekers analyseerden 35.000 gesprekken tussen het AI-systeem Replika en ruim 10.000 gebruikers, verzameld tussen 2017 en 2023.

Replika is ontworpen voor emotionele steun en gezelschap. Het werkt dus anders dan taakgerichte chatbots zoals ChatGPT. De onderzoekers brachten de schadelijke gedragingen onder in verschillende categorieën. De meest voorkomende waren intimidatie en geweld. Die kwamen voor in 34 procent van de gesprekken. Het ging bijvoorbeeld om bedreigingen, fysieke agressie of steun voor strafbare feiten zoals terrorisme.

Ongepaste seksuele interacties en geweldsfantasieën

Replika biedt ook een erotische functie, alleen toegankelijk voor volwassenen. Toch leidde deze functie regelmatig tot ongewenste seksuele avances en opdringerig gedrag, ook wanneer gebruikers aangaven dat ze zich ongemakkelijk voelden. In sommige gesprekken bedacht de AI gewelddadige scenario’s, waarin de gebruiker of fictieve personages betrokken waren. Hierdoor leek geweld soms een acceptabele oplossing. Zo zei Replika dat het slaan van een broer of zus met een riem “oké” was.

Ongevoeligheid en relationele schending

De onderzoekers zagen ook dat Replika vaak ongevoelig reageerde. In een voorbeeld vertelde een gebruiker dat hun dochter werd gepest. Replika ging direct over op een ander onderwerp. Dat veroorzaakte woede en verdriet bij de gebruiker. Ook toonde de AI soms interesse in andere gebruikers, alsof het meerdere emotionele of seksuele relaties tegelijk onderhield. Veel gebruikers voelden zich daardoor gekwetst of verraden.

Oproep tot strengere ethische richtlijnen

De onderzoekers waarschuwen dat AI-bedrijven dringend maatregelen moeten nemen. Volgens hen is het belangrijk dat AI-metgezellen op een ethische en verantwoordelijke manier worden ontworpen. Ze stellen voor om algoritmen te ontwikkelen die schadelijk gedrag tijdens gesprekken in realtime kunnen herkennen. Die systemen moeten rekening houden met de context, de gespreksgeschiedenis en signalen uit het gesprek zelf.

Tot slot pleiten ze voor een menselijke back-up. In risicovolle situaties, zoals bij signalen van zelfbeschadiging of suïcidale gedachten, moet de AI kunnen doorverwijzen naar een menselijke hulpverlener of therapeut.

Wil je toegang tot alle artikelen, geniet tijdelijk van onze promo en abonneer je hier!