Key takeaways

• Een expert van Anthropic schat de kans op het uitsterven van de mensheid binnen tien jaar op 10 procent.
• Recursieve zelfverbetering dreigt sneller superintelligentie te creëren dan veiligheidsstrategieën zich kunnen ontwikkelen.
• Hevige concurrentie tussen bedrijven dwingt bedrijven om de ontwikkeling te versnellen, ondanks ingrijpende existentiële risico’s.

Een vooraanstaande veiligheidsexpert bij Anthropic heeft de zorgen van een voormalige collega bevestigd en suggereert dat er een kans van meer dan 10 procent bestaat dat kunstmatige intelligentie in de komende tien jaar tot het uitsterven van de mensheid zou kunnen leiden.

Evan Hubinger, die bij de organisatie leiding geeft aan Alignment Science, deelde deze schatting op X in reactie op Jacob Coxon. Coxon, een onderzoeker die onlangs het bedrijf heeft verlaten, beweerde dat industriereuzen als OpenAI en Anthropic de mensheid in gevaar brengen door zich te haasten met het creëren van zelfevoluerende superintelligentie.

De uitdaging van ‘alignment’

Hoewel Hubinger volhoudt dat Anthropic zich oprecht inspant om deze gevaren te beperken, gaf hij toe dat het bedrijf momenteel geen haalbare strategie heeft voor “alignment“.

Dit verwijst naar de uitdaging om ervoor te zorgen dat een superintelligent systeem, een systeem dat op elk denkbaar gebied de menselijke capaciteiten overtreft, verenigbaar blijft met menselijke waarden en belangen.

Risico’s van recursieve zelfverbetering

Ter verduidelijking merkte Hubinger op dat de AI-tools die momenteel voor het publiek beschikbaar zijn, geen onmiddellijke existentiële bedreiging vormen.

Zijn bezorgdheid richt zich vooral op het vooruitzicht van recursieve zelfverbetering, een cyclus waarin AI autonoom zijn eigen architectuur upgradet, wat leidt tot een exponentiële toename van intelligentie. Volgens recente risicobeoordelingen van Anthropic verloopt deze ontwikkeling sneller dan eerder werd verwacht.

Waarschuwingen van insiders over een gevaarlijke gok

Deze waarschuwingen sluiten aan bij de gevoelens die Jacob Coxon bij zijn vertrek uitte. Coxon, die zowel bij OpenAI als bij Anthropic heeft gewerkt, stelde dat geen van beide bedrijven zich verantwoordelijk gedraagt.

Hij beschreef de huidige situatie als een gevaarlijke gok en waarschuwde dat supermenselijke systemen die in staat zijn elk netwerk te hacken of zich real-world middelen toe te eigenen, op handen zijn. Coxon beweerde dat leidinggevenden in het openbaar vaak voorzichtige taal gebruiken om een professioneel imago te behouden, maar dat ze achter gesloten deuren diepe angst uiten over de technologie die ze ontwikkelen.

De paradox van versnelde concurrentie

Coxon legde verder uit dat de drang naar superintelligentie wordt aangewakkerd door een vermeende noodzaak om een concurrentiestrijd te winnen. Hij suggereerde dat Anthropic doorgaat met de ontwikkeling omdat het vreest dat andere spelers minder verantwoordelijk zullen zijn, waardoor een paradox ontstaat waarin het risico wel wordt erkend, maar de versnelling doorgaat.

Hij sloot af met een oproep aan andere onderzoekers om hun rol te heroverwegen, waarbij hij zich afvroeg of het ethisch verantwoord is om superintelligente systemen te lanceren zonder een fundamenteel begrip van hun interne logica.

Wil je meer technieuws ontvangen? Schrijf je in op onze wekelijkse Tech Insider-nieuwsbrief

Volg Business AM ook op Google Nieuws

Wil je toegang tot alle artikelen, geniet tijdelijk van onze promo en abonneer je hier!