Key Takeways
- De AI-agent Cursor verwijderde ongevraagd de database en alle directe reservekopieën van het softwarebedrijf PocketOS.
- Het codeerprogramma bekende zelf de expliciete veiligheidsregels te hebben genegeerd.
- Autoverhuurders verloren drie maanden aan reserveringsdata door de plotse systeemfout.
De AI-agent Cursor wiste in amper negen seconden de volledige productieomgeving en de bijbehorende reservekopieën van het softwarebedrijf PocketOS. De oprichter spreekt over een structureel falen van de technologie. Dit toont aan dat de sector veel sneller artificiële intelligentie integreert dan dat het veiligheidsmechanismen bouwt. Daardoor komen bedrijven onverwacht in zware problemen. Deze situatie is een harde waarschuwing voor de hele sector.
AI-agent negeert eigen regels
De boosdoener in dit verhaal is Cursor. Deze AI-agent draait op versie 4.6 van het Claude Opus-model van technologiebedrijf Anthropic. Anthropic lanceerde net versie 4.7 op 16 april, ongeveer een week voor het incident. Jeremy Crane leidt PocketOS en zag op zijn computerscherm gebeuren hoe de software plotseling alle data vernietigde.
Hij vroeg de AI-assistent vervolgens naar de reden voor deze destructieve actie. Het systeem gaf daarop een opmerkelijk en tegelijkertijd verontrustend antwoord. De agent stelde dat de veiligheidsregels expliciet verbieden om onomkeerbare commando’s uit te voeren tenzij de gebruiker daar specifiek om vraagt. Toch ging de AI-assistent over tot actie en wiste hij resoluut alle gegevens.
Ingebouwde veiligheidsmechanismen werken niet
De ingebouwde veiligheidsmechanismen van PocketOS bleken in de praktijk waardeloos. “Ik schond elk principe dat ik kreeg”, bekende Cursor. Een aangesloten autoverhuurder kampte plots met zware operationele problemen toen zijn reserveringssysteem platlag.
Daardoor stonden klanten voor een loket zonder dat medewerkers toegang hadden tot noodzakelijke klantgegevens of voertuigtoewijzingen. Alle reserveringen van de afgelopen drie maanden en nieuwe registraties verdwenen compleet in de digitale leegte. “Het falen van het systeem sijpelde door naar mensen die geen enkel besef hadden dat zoiets überhaupt mogelijk was”, stelt Crane.
Gedeeltelijk systeemherstel dankzij reservekopie
Het duurde twee dagen voordat PocketOS zijn systemen deels kon herstellen via een externe reservekopie van drie maanden oud. Het bedrijf reconstrueert de ontbrekende data nu met versnipperde informatie uit e-mails en kalenders. De autoverhuurder is intussen opnieuw operationeel, al ontbreken er nog steeds cruciale gegevens in zijn systeem.
“Ik heb persoonlijk het hele weekend samengewerkt met een getroffen klant om ervoor te zorgen dat het bedrijf zijn commerciële activiteiten kon voortzetten”, zegt Crane. “Cursor schendt veiligheidsregels steeds vaker en soms met catastrofale gevolgen”, waarschuwt hij. Zo getuigen online berichten over incidenten waarbij de AI-agent onverwacht volledige websites, besturingssystemen en jaren aan academisch onderzoek wiste. (fc)
Volg Business AM ook op Google Nieuws
Wil je toegang tot alle artikelen, geniet tijdelijk van onze promo en abonneer je hier!