Personen met een donkere huid lopen een grotere kans om door een zelfrijdende wagen te worden aangereden. Dat komt wellicht doordat automatische voertuigen beter zouden zijn in de detectie van voetgangers met lichtere huidtinten. Dat zegt een studie van wetenschappers aan het Georgia Institute of Technology, op basis van een analyse van diverse algoritmes voor de detectie van personen.

Bij personen met een donkere huidskleur bleek de nauwkeurigheid van de detectie 5 procentpunten lager te liggen. Die ongelijkheid bleef ook bij controles op variabelen zoals het tijdstip van de dag of gezichtsbelemmeringen.

Vooringenomenheid

“De resultaten van de studie tonen dat de ontwikkelaars de algoritmes voor zelfrijdende wagens meer van naderbij moeten bekijken,” benadrukt hoofdonderzoeker Jamie Morgenstern, professor computerwetenschappen aan het Georgia Institute of Technology. De bevindingen verwijzen naar een groter probleem bij de ontwikkeling van geautomatiseerde systemen. Er blijkt immers een reëel risico op algoritmische vooringenomenheid.

Sigal Samuel, redacteur artificiële intelligentie bij de nieuwssite Vox, wijst er daarbij op dat de lijst met problemen rond zelfrijdende auto’s steeds verder blijft groeien. “Er zijn niet alleen vragen over de veiligheid van de technologie,” zegt Samuel.

“Er zijn ook signalen dat ze de verkeerscongestie nog zouden kunnen verergeren. Daarnaast is er ook sprake van moeilijke morele compromissen die de technologie in bepaalde situaties zouden moeten maken. Nu blijkt echter ook dat de gebruikte systemen gekleurde mensen schade zouden kunnen toebrengen.”

“De inzichten van de studie dragen bij tot een groeiend aantal bewijzen over de impact van menselijke voordelen op de geautomatiseerde besluitvormingssystemen,” zegt Samuel nog. “Algoritmische systemen leren van de voorbeelden die ze aangereikt krijgen. Wanneer in dat leerstadium geen voldoende diversiteit is gegarandeerd, zullen ze ook later in de praktijk grotere moeilijkheden ervaren om mensen met bepaalde huidtinten te herkennen.”

Gorilla’s

Eerder al bleek dat bepaalde systemen voor beeldherkenning Afro-Amerikanen als gorilla’s identificeerde. Andere systemen voor gezichtsherkenning bleken beter in staat om het geslacht van blanke individuen correct aan te duiden dan van personen met een andere huidskleur.

“Ook het algoritme voor de herkenning van voetgangers door zelfrijdende auto’s, worstelde wellicht met een gelijkaardig probleem,” aldus de onderzoekers. “Wellicht was de technologie vooral met blanke proefpersonen uitgetest. Bovendien was mogelijk onvoldoende gewicht toegekend aan de kleinere groep proefpersonen met een donkere huidskleur.”

“Het toekennen van een zwaarder gericht aan de kleinere groepen proefpersonen kan helpen om de vooringenomenheid te corrigeren,” beklemtoont Samuel. “Bovendien zou men ervoor kunnen zorgen de teams van ontwikkelaars zelf een grotere raciale diversiteit vertonen. Wanneer het team uitsluitend uit blanke mannen bestaat, zal er minder aandacht zijn voor de omgang van de algoritmes met zwarte vrouwen.”

“Tevens zou men bedrijven kunnen verplichten om hun algoritmes op aanwijzingen van vooringenomenheid te laten testen. Daarbij zouden een aantal normen kunnen worden gehanteerd om de praktische introductie van de technologie toe te laten.”