In Nederland werd begin deze maand een systeem om met algoritmes uitkeringsfraude op te sporen door de rechtbank verboden. Het zou in strijd zijn met de mensenrechten, de privacy schenden, en ‘onbedoeld leiden tot stigmatisering en discriminatie’. Ook in België gebruiken overheidsdiensten en politie artificiële intelligentie om sociale fraude en criminaliteit op te sporen, of zelfs te voorspellen. Maar wie waakt over de wachters?

Algoritmes zijn overal. Telkens wanneer we Facebook, Google of Twitter raadplegen worden we blootgesteld aan keuzes die algoritmes voor ons maken. U kent het wel: Films ‘voorgesteld voor jou’ op Netflix, of advertenties voor loopschoenen omdat je onlangs interesse toonde in een marathon. De digitale paden die we bewandelen worden voor een groot deel voor ons uitgestippeld door algoritmes.

Net als een recept van Jeroen Meus is een algoritme ‘een reeks instructies waarmee een resultaat kan worden verkregen’, zoals in het standaardwerk ‘Waar dromen algoritmes over?’ van socioloog Dominique Cardon staat. Het was aanvankelijk een puur wiskundige term, voordat het gebruikt werd bij de ontwikkeling van computers, en een van de bouwstenen van het moderne internet werd.

Algoritmes kunnen onze economie maken of kraken. Programma’s maken flitstransacties voor beleggers ter waarde van miljarden, het zogenaamde ‘high frequency trading’. Dat kan plotselinge en overdreven prijsdalingen- of stijgingen veroorzaken. De term is een controversieel begrip geworden in de digitale wereld. Het symboliseert de gevaren en excessen van een geautomatiseerde wereld, geconditioneerd door commerciële logica.

SyRI, of ‘Systeem Risico Indicatie’

Ook overheden gebruiken algoritmes. Door hun capaciteit om in grote hoeveelheden data patronen te herkennen, en zelfs te voorspellen kunnen ze politiekorpsen aanduiden welke wijk een grote kans heeft op de volgende inbraakgolf. Inspectiediensten gebruiken ze dan weer om een idee te krijgen in welke bedrijven waarschijnlijk gefraudeerd wordt.

In Nederland gebruikte de overheid het programma SyRI (Systeem Risico Indicatie), om uitkeringsfraude en ander misbruik van de sociale zekerheid op te sporen. Tot voor enkele weken alleszins: Een Haagse rechtbank verbood het gebruik ervan en oordeelde dat het mensenrechten schendt en vooral inwoners uit armere wijken raakt.

Hoe werkt het systeem? Het Nederlandse programma scant gegevens van verschillende overheidsinstanties om mensen te markeren die mogelijk werkloosheidssteun claimen terwijl ze werken, of een woonsubsidie terwijl ze daar geen recht op hebben. Die mensen komen op een lijst en kunnen worden gecontroleerd door frauderechercheurs.

Gemeenten die in een bepaalde wijk misbruik van uitkeringen wilden aanpakken, konden aan het ministerie van Sociale Zaken toestemming vragen voor een SyRI-onderzoek. De vijf keer dat gemeenten zo’n SyRI-onderzoek uitvoerden, spoorden ze er niet één geval van fraude mee op.

Geheim

Het programma is omgeven door een waas van geheimhouding. Zelfs diegenen die op de lijst terechtkomen, worden niet op de hoogte gebracht. Ze krijgen niet te horen hoe het algoritme tot die conclusie kwam, en krijgen ook geen manier om beroep aan te tekenen.

‘SyRI maakt van arme mensen en mensen met een migratieachtergrond tweederangsburgers’

Philip Alston, bijzondere rapporteur voor mensenrechten van de Verenigde Naties

Vorig jaar eindigde een vergadering van het stadsbestuur met het ministerie van Sociale Zaken, dat bevoegd is voor SyRI, in ruzie. Het stadsbestuur moest namelijk geheimhoudingsclausules tekenen voor ze een briefing kregen over hoe het systeem werkt. Dat weigerden ze.

Het verzet groeide en zelfs de Verenigde Naties bemoeiden zich ermee. In een rapport maakte de VN-rapporteur voor mensenrechten het systeem met de grond gelijk. ‘Hele buurten worden als verdacht beschouwd en worden onderworpen aan speciale controle. Een dergelijk onderzoek wordt niet toegepast op gegoede wijken. Het maakt van arme mensen en mensen met een migratieachtergrond tweederangsburgers’, zei Philip Alston in zijn rapport.

Aangeleerde vooroordelen en een gebrek aan transparantie deden SyRI finaal de das om. De Nederlandse overheid mag SyRI van het gerecht niet meer gebruiken.

Hoe zit het bij ons?

Over het gebruik van algoritmes en datamining door Belgische sociale inspectiediensten is weinig bekend, maar het gebruik is wel wijdverspreid. Dat blijkt uit een rondvraag van Business AM.

‘Onze werkwijze verschilt op een aantal vlakken fundamenteel van hoe ze in Nederland werkten.’ Aan het woord is het hoofd van het team datawetenschappers van de Rijksdienst voor Sociale Zekerheid (RSZ).

De RSZ staat te boek als een voorloper op het vlak fraudedetectie door middel van dataminingtechnieken. Praktijken zoals sociale dumping, frauduleuze faillissementen en handel zogeheten ‘sociale kits’ worden daarmee bestreden. Sociale kits zijn vervalste RSZ-aangiften, die tewerkstellingen vermelden die niet stroken met de werkelijkheid. Vaak worden er geen sociale bijdragen op betaald.’

‘Die aangiften openen de poorten naar alle sociale voordelen: werkloosheid, ziekte-uitkeringen, vakantiegeld, enzovoort. Via ‘predictieve analyses’ worden risicogevallen gesignaleerd aan de inspecteurs op het terrein, om zo grootschalige en georganiseerde zaken aan te pakken.

‘Onze detectiemodellen verschillen fundamenteel van hoe ze in Nederland werkten.’

Hoofd analyse- en detectieteam RSZ

‘Volgens analyses door onze juristen, verschilt de Nederlandse wetgeving van de onze. De Nederlanders zouden gebruik mogen maken van heel veel gegevens, ook gevoelige persoonlijke data, zonder duidelijk aan te geven waarom ze die nodig hebben. De Nederlandse wet zette bijna onvoldoende beperkingen op welke informatie het systeem mocht raadplegen om bepaalde wijken als risicovol aan te duiden.’ Legt de datawetenschapper uit.

Bij de RSZ is dat niet mogelijk volgens hem: ‘Het is juridisch zeer goed afgelijnd tot welke datasets wij toegang hebben, en tot welke niet.’

Belangrijk precedent

Een ander probleem was dat de Nederlandse inspectie achteraf niet kon uitleggen waarom een bepaalde wijk of gezin werd gesignaleerd als een risicoprofiel. Dat is nochtans verplicht volgens de Europese GDPR-privacywetgeving.

‘Die ‘explainability’ zoals dat heet, is vanaf het begin ingebouwd in onze detectiemodellen. Als onze inspecteurs een risicoprofiel van de machine voorgeschoteld krijgen, weten ze perfect waarom dat bedrijf gesignaleerd werd, onder andere door datavisualisaties, aldus de datawetenschapper.

‘De Nederlandse case is wel een belangrijk precedent, en we gaan dat arrest dan ook grondig bestuderen. Als blijkt dat wij daar lessen kunnen uit trekken, en blijkt dat we onze systemen daardoor kunnen verfijnen, gaan we dat zeker niet nalaten’, zegt RSZ-topman Koen Snyders.

Het SyRI-systeem ging ten onder aan aangeleerde vooroordelen en discriminatie. Bij de Rijksdienst voor Sociale Zekerheid hechten ze naar eigen zeggen veel belang aan het voorkomen van die valkuilen. Zo bestaat het analyse- en detectieteam uit zowel datawetenschappers, als criminologen als inspecteurs die het terrein kennen. De ontwikkeling van een nieuw model is het resultaat van een constante wisselwerking tussen die drie groepen.

De machine trekt nooit zelf besluiten, het werkt enkel aanwijzend. Inspecteurs gaan niet automatisch op onderzoek als een bedrijf gesignaleerd wordt. In slechts 10 procent van de fraudezaken die de RSZ onderzoekt spelen algoritmes en datamining een rol, net omdat die terreinkennis van de inspecteurs zo essentieel is.

Minority report

Ook de Belgische politie wil in de toekomst criminele feiten voorspellen met databanken en algoritmes. ‘Predictive policing’ heet dat: via datamining inschatten in welke gebieden er op dat moment een groter risico is op bijvoorbeeld autodiefstallen, om dan gerichter politie in te kunnen zetten.

Het doet denken aan de film ‘Minority Report’ uit 2002. Tom Cruise speelt daarin een agent die op basis van data voorspelt wie een moord gaat plegen, om nog snel tussenbeide te komen.

In het nieuwe computersysteem iPolice, dat voor eind 2020 gepland is, zullen systemen van predictive policing ingebouwd worden. Het project moet de data van alle politiediensten samenbrengen in een cloud. Op basis daarvan kunnen algoritmes ontwikkeld worden om effectief misdrijven te voorspellen.

Er is echter al één politiezone in ons land die al openlijk experimenteert met vormen van predictive policing. Korpschef Nicholas Paelinck van politiezone Westkust geraakte in de ban van die technieken na een inspiratiereis naar de Verenigde Staten. Al enkele jaren gebruikt het korps data-analyse om te voorspellen waar de hoogste kans op criminaliteit zit. In 2016 beweerde Paelinck dat zijn korps de misdaadcijfers zo met 40 procent kon doen zakken.

Zo’n vaart heeft het niet gelopen. Toch daalt de criminaliteit in Westkust al jaren. Vorig jaar waren er voor het eerst minder dan 3.000 delicten in de politiezone. Tegenover 2018 was dat een daling van 11 procent.

Waakzaamheid geboden

‘De uitbouw van voorspellende politiesystemen mag niet zomaar overgelaten worden aan commerciële bedrijven’, waarschuwt professor Wim Hardyns. Als veiligheidsexpert onderzoekt hij voorspellende detectiemodellen aan de Universiteit Gent. Bij de ontwikkeling van het iPolicesysteem merkt hij vooralsnog te weinig samenwerking met de academische wereld.

‘De data waarmee gewerkt wordt zijn te gevoelig om integraal in handen te leggen van commerciële partners.’ Legt de criminoloog uit. Die gegevens omvatten eerdere misdrijven, info uit gerechtelijk onderzoek, gescande nummerplaten en dergelijke meer. ‘Als je dat uitbesteedt aan private spelers is het niet altijd evident om de nodige controle en transparantie over die gegevens te bewaren. Bovendien is er ook een enorme expertise nodig om met zulke grote datasets aan de slag te gaan.’

‘De uitbouw van voorspellende politiesystemen mag niet zomaar overgelaten worden aan commerciële bedrijven’

Professor Wim Hardyns, criminoloog en veiligheidsexpert

De Gentse professor ziet wel potentieel in voorspellend politiewerk met behulp van algoritmes: ‘Aan de hand van machinegestuurde voorspellingen kan je weten welke gebieden het meeste kans hebben dat er zich criminaliteit voordoet’, legt hij uit. ‘Bij testen zitten we momenteel tussen de 70 en de 75 procent correcte voorspellingen.’

Bij het gebruik van algoritmes en datamining om sociale of fiscale fraude op te sporen is meer waakzaamheid geboden volgens professor Hardyns. Naast de RSZ gebruikt ook de FOD Financiën algoritmes om btw-fraude en belastingontduiking gerichter te kunnen controleren.

Volgens de woordvoerder gebruiken ze de technieken om ‘zo vlug mogelijk uit een grote massa aan informatie die profielen eruit te halen die vanwege hun bindingen en hun connecties de moeite lonen om al dan niet gecontroleerd te worden.’ Bij Financiën wordt momenteel een meerderheid van de controles geselecteerd via datamining, en een kleine minderheid gebeurt op basis van aanwijzingen door een inspecteur.

‘Zodra men individuele personen als risicovol gaat signaleren met algoritmes, begeven we ons in een gevarenzone’, zegt professor Hardyns. ‘Zelflerende machines hebben ook een foutenmarge.’ Als men dat dan gaat toepassen op individuele personen, loert het gevaar voor discriminatie om de hoek, volgens de onderzoeker. ‘Op individueel niveau zou ik fraudedetectie niet overlaten aan een computer.’