De discussie over AI op de werkvloer gaat stilaan over meer dan wat een chatbot kan beantwoorden. Naarmate bedrijven AI-agents toegang geven tot mailboxen, documenten en andere bedrijfssystemen, krijgen die systemen ook meer ruimte om zelf beslissingen te nemen. Volgens Fred Streefland, CISO bij Check Point Security, verschuift daarmee ook de veiligheidsuitdaging. Niet alleen de systemen moeten worden beveiligd, maar ook het oordeel dat AI daarbinnen vormt.

Dat werd recent zichtbaar in de ervaring van VRT-journalist Luc Pauwels. Hij beschreef hoe Microsoft Copilot uit zichzelf zijn mailbox en interne documenten doorzocht, om hem vervolgens aan te bieden op te zoeken wat collega’s over hem zeggen. De case illustreert volgens Streefland een bredere ontwikkeling: AI-agents proberen een opdracht uit te voeren met de middelen waarover ze beschikken, ook wanneer een gebruiker niet expliciet elke stap heeft voorgeschreven.

“Het is zorgwekkend, maar voor mij niet verrassend, dat AI in staat is om alle mogelijkheden te onderzoeken en persoonlijke data aan te boren om een opdracht uit te voeren”, zegt Streefland. Vooral de mate waarin agents zelfstandig op zoek gaan naar manieren om een opdracht uit te voeren, baart hem zorgen. “Het blijkt ook uit onderzoek van Check Point dat AI-agents vooral heel goed zijn in improviseren wanneer ze tegen een muur aanlopen.”

Van systeembeveiliging naar machine judgement

Die ontwikkeling verandert volgens Streefland ook de manier waarop bedrijven naar cybersecurity moeten kijken. “We moeten er rekening mee houden dat aanvallers niet alleen AI-systemen en infrastructuur rechtstreeks aanvallen, maar zich steeds vaker richten op de onderliggende trainingsdata en brondata van AI.”

Dat kan leiden tot data poisoning en data corruption, waarbij informatie waarop een AI-systeem zich baseert bewust wordt gemanipuleerd of aangetast. Het gevolg is niet alleen een technisch probleem, maar ook een vertrouwensprobleem. Wanneer de informatie waarop een AI-systeem zich baseert wordt gemanipuleerd, wordt het moeilijker om de betrouwbaarheid van de uitkomst te beoordelen.

Dat risico is volgens Streefland zichtbaar bij generatieve AI-toepassingen zoals ChatGPT. Aanvallers hoeven daarbij niet noodzakelijk rechtstreeks de AI-applicatie zelf aan te vallen. Via indirecte prompt injection kunnen kwaadaardige instructies bijvoorbeeld in informatie terechtkomen waarmee een AI-systeem later werkt. Voor verdedigers is dat moeilijker te herkennen dan een klassieke aanval waarbij de kwaadaardige prompt rechtstreeks aan het systeem wordt gegeven.

Wanneer een AI-agent ‘rogue’ gaat

Hoe meer taken bedrijven aan AI-agents toevertrouwen, hoe groter ook de gevolgen kunnen zijn wanneer zo’n systeem zich anders gedraagt dan verwacht.

Een van de belangrijkste risico’s is volgens Streefland dat een agent “rogue” gaat: zelfstandig taken uitvoert die niet gewenst zijn en mogelijk zelfs gevaar opleveren. Dat wordt volgens hem bijzonder relevant wanneer AI-agents worden ingezet in kritieke omgevingen, zoals nutsbedrijven, de olie- en gassector of defensie.

De combinatie van autonomie, toegang tot data en toegang tot tools maakt AI-agents fundamenteel anders dan klassieke software. Streefland vat het samen in drie kenmerken. “AI-agents hebben een bijna onuitputtelijke drang om hun taak of opdracht uit te voeren. Ze zijn bizar goed in improviseren als ze ergens tegenaan lopen en ze beschikken over enorm veel data en tools om hun opdracht tot een goed einde te brengen.”

Precies die eigenschappen maken de technologie tegelijk krachtig en potentieel risicovol.

Een prompt is niet altijd wat hij lijkt

Een van de problemen is dat AI-agents een kwaadaardige instructie niet noodzakelijk als kwaadaardig herkennen. Voor het systeem is een prompt injection een gewone opdracht die binnen de context van zijn taak past.

Daarom volstaat het volgens Streefland niet om de AI-agent zelf verantwoordelijk te maken voor zijn eigen beveiliging. “De beveiliging en de verantwoordelijkheid daarvoor moeten niet bij de AI-agent worden neergelegd, maar eromheen worden gelegd.”

Check Point verwijst daarbij naar onderzoek waarin een gemanipuleerde link volstond om Microsoft 365 Copilot informatie uit bedrijfsbestanden te laten ophalen. Dat voorbeeld toont volgens de onderzoekers hoe moeilijk het blijft om indirecte prompt injections te detecteren wanneer kwaadaardige instructies verborgen zitten in content waarmee een AI-systeem later werkt.

Dat betekent dat organisaties onder meer de input die naar een agent gaat onafhankelijk moeten kunnen beoordelen. De AI mag niet zelf bepalen of een instructie veilig is en vervolgens ook zelf de gevolgen ervan uitvoeren.

Volgens Streefland moeten organisaties daarvoor verschillende expertises samenbrengen. Ontwikkelaars bouwen de modellen en toepassingen, maar beveiliging vraagt volgens hem gespecialiseerde kennis die niet vanzelfsprekend bij AI-ontwikkelaars aanwezig is.

Eén op de 36 prompts met een hoog risico

Het probleem beperkt zich bovendien niet tot autonome agents. Ook het dagelijkse gebruik van generatieve AI door werknemers brengt risico’s met zich mee.

Volgens het AI Threat Landscape Digest van Check Point Research bevatte in juli één op de 36 prompts die werknemers in generatieve AI-tools invoerden een hoog risico op het lekken van gevoelige informatie. Bij 88 procent van de organisaties kwam minstens één dergelijke prompt voor.

Voor Streefland toont dat vooral aan hoe snel generatieve AI onderdeel is geworden van het dagelijkse werk, terwijl de kennis over de risico’s achterop kan hinken. “Gebruikers, medewerkers dus, hebben vaak geen idee dat zij gevoelige data lekken door generatieve AI-applicaties zoals ChatGPT, Claude, Gemini of Copilot te bevragen.”

Het risico ontstaat dus niet alleen wanneer een aanvaller een AI-systeem probeert te manipuleren. Ook een medewerker die bedrijfsinformatie in een AI-tool invoert zonder zich bewust te zijn van de gevolgen, kan een incident veroorzaken.

Eerst testen, dan pas toegang geven

De vraag is dan wat organisaties moeten doen voordat ze AI-agents toegang geven tot interne documenten, mailboxen of andere bedrijfsinformatie. Volgens Streefland zijn er drie prioriteiten: bewustwording, testen en voortdurende beveiliging.

Eerst moeten medewerkers begrijpen hoe AI werkt en welke veiligheidsrisico’s eraan verbonden zijn. Daarnaast moeten organisaties AI-agents testen voordat ze in productie worden ingezet. Streefland verwijst daarbij naar AI red teaming: gecontroleerd proberen om een systeem op manieren te laten falen of ongewenst gedrag te laten vertonen, zoals een aanval op de organisatie om de beveiliging te testen.

Daarna stopt het werk niet. “Je moet AI-agents constant monitoren en beveiligen”, zegt hij. Daarbij moet niet alleen worden gekeken naar de input die een agent ontvangt, maar ook naar het gedrag dat daarop volgt.

Die aanpak wordt belangrijker naarmate agents meer autonomie krijgen. Een systeem dat alleen tekst genereert, heeft een ander risicoprofiel dan een agent die zelfstandig informatie kan opzoeken, documenten kan aanpassen, e-mails kan versturen of acties in bedrijfssoftware kan uitvoeren.

De aanval beweegt mee met de technologie

Die uitdagingen worden bovendien groter omdat ook aanvallers steeds vaker AI gebruiken. Volgens Streefland is snelheid daarbij een van de grootste problemen. AI-systemen worden steeds beter in het ontdekken en misbruiken van kwetsbaarheden, terwijl organisaties hun verdediging moeten aanpassen aan een technologie die zelf voortdurend verandert.

De meest geavanceerde modellen beschikken volgens hem al over capaciteiten die aanvallers kunnen gebruiken om kwetsbaarheden sneller te vinden. Nog niet elke criminele actor beschikt over die mogelijkheden, maar volgens Streefland is het vooral een kwestie van tijd voordat die capaciteit breder beschikbaar wordt.

Daarmee ontstaat een ongemakkelijke paradox. AI wordt ingezet om bedrijven efficiënter te maken, maar dezelfde autonomie en snelheid kunnen ook door aanvallers worden benut.

De mens blijft verantwoordelijk voor de randvoorwaarden

Een sluitende oplossing bestaat volgens Streefland niet uit één technologie of één beveiligingslaag. Organisaties zullen vooral moeten leren omgaan met het feit dat AI-systemen steeds meer zelf kunnen ondernemen.

Dat begint volgens hem bij mensen die weten wat een AI-agent wel en niet kan, maar gaat vervolgens over naar testen en permanente controle. Wie een agent toegang geeft tot bedrijfsdata, moet volgens die logica niet alleen vragen wat het systeem kan doen, maar ook wat er gebeurt wanneer het systeem een verkeerde instructie krijgt, wordt gemanipuleerd of zelf een onverwachte route kiest.

De VRT-case rond Copilot is in die zin meer dan een opvallend incident. Ze toont hoe snel de grens tussen een digitale assistent en een systeem dat zelfstandig handelt kan vervagen.

Hoe meer bedrijven AI-agents toegang geven tot hun data en systemen, hoe minder cybersecurity nog uitsluitend draait om het beschermen van machines. De volgende uitdaging is ook begrijpen, testen en begrenzen wat de machine zelf besluit te doen.

Wil je meer technieuws ontvangen? Schrijf je in op onze wekelijkse Tech Insider-nieuwsbrief

Volg Business AM ook op Google Nieuws

Wil je toegang tot alle artikelen, geniet tijdelijk van onze promo en abonneer je hier!