Waarom artificiële intelligentie blind kan zijn voor vooroordelen

Amazons geautomatiseerde rekruteringsbeleid dat vrouwen discrimineerde; het Amerikaanse ziekenzorgsysteem dat de noden van zwarte patiënten minimaliseerde. Voorbeelden genoeg van vooroordelen in AI. Is het een reëel probleem, en zo ja, wat valt ertegen te beginnen?

De explosie van generatieve AI deed het grote publiek kennismaken met de mogelijkheden van artificiële intelligentie. En waar het kan helpen om input voor businesspapers of bepaalde invalshoeken te krijgen, is het even vaak minder onschuldig. Met name wanneer er op grote schaal vooroordelen of bias aan te pas komen.

“Er zitten heel veel vooroordelen in AI-systemen”, die we uit alle macht moeten zien te beperken”, aldus Véronique van Vlasselaer, data scientist bij software vendor SAS. “Als je naar de bank gaat voor een bankproduct zoals een lening of een kredietkaart, wordt doorgaans een AI-model op je losgelaten. Het is al meermaals gebleken dat mensen uit minderheidsgroepen, zoals een bepaalde etnische achtergrond of een geslacht, vaak minder snel een lening krijgen of een andere kredietlimiet toegewezen krijgen. In Nederland hebben we ook die toeslagenaffaire gehad, waarbij een AI-fraudedetectiemodel echt getraind bleek om zich te richten op bepaalde sociale demografische groepen. Maar we mogen AI niet met de vinger wijzen: de bankdirecteur die vroeger de lening toekende, deed dat vaak ook op basis van vooroordelen. AI opereert nu eenmaal op basis van bepaalde datasets, die vaak ‘besmet’ zijn.”

Data wassen

Een bekend voorbeeld van besmette datasets is Amazon. Hun bot werd getraind op historische rekruteringsdata, die dateerden uit decennia waarbij blanke mannen van middelbare leeftijd carrière maakten en de vrouw thuisbleef om voor de kinderen te zorgen. Met alle gevolgen van dien voor het slimme rekruteringsbeleid: vrouwelijke cv’s waren bij voorbaat en per definitie verdacht, omdat vrouwen volgens het algoritme geen carrière konden of wilden maken. Is het dan een idee om datasets uit te zuiveren? Filip Van den Abeele, auteur van het boek Technologie twijfelt ook en specialist inzake Industrie 4.0, big data en artificiële intelligentie, is geen fan.

“Vooroordelen zitten heel hardnekkig in onze maatschappij geworteld”, zegt hij. “Is het dan moreel wenselijk om die enorme datasets, die toch onze menselijke inborst weerspiegelen, te wassen of censureren? Ik vind van niet, want zo zet je de realiteit een stukje naar je hand en ga je zelf de data kiezen waarmee je artificiële intelligentie traint. Een moreel dilemma op zich: welke datasets kiezen om je modellen mee te trainen?”

Demografische gelijkheid

Of die vooroordelen de geloofwaardigheid van AI dan ook kan kelderen, willen we weten. “Absoluut”, aldus van Vlasselaer. “Heel wat mensen pleiten ervoor geen AI-systemen meer te gebruiken, omdat bepaalde mensen er kansen door missen. Ik zie echter een opportuniteit: AI maakt de impliciete bias in onze maatschappij heel expliciet: het drukt ons met de neus op de feiten. Dat laat toe beter te controleren, en te bekijken hoe we AI-systemen neutraler kunnen maken. Bijvoorbeeld door demografische gelijkheid te creëren in je model. Zodat het mensen met een verschillende achtergrond, geslacht, huidskleur … op dezelfde manier behandelt. Dat kan je effectief afdwingen bij je systeem. En het helpt ook als je ontwikkelingsteams en datawetenschappers zo divers mogelijk zijn natuurlijk.” 

Ontwerpteam met moraalfilosoof

Ook Filip Van den Abeele pleit voor meer diversiteit en grotere omzichtigheid. “We mogen het potentieel van AI niet vergooien, dus moeten we ons bewust blijven van het probleem van bias. Zeker omdat mensen koudwatervrees hebben als het over innovatie gaat: als ze verhalen als dat van Amazon, horen, zullen ze neurale netwerken moeilijker accepteren. Hoe we dat kunnen aanpakken? Door moraalfilosofen en ethici aan de ontwerptafel uit te nodigen. Kathleen Gabriels, auteur van het boek Regels voor robots en expert op het vlak van ethiek in computerwetenschap, pleit daar ook voor. Omdat ingenieurs en programmeurs graag dingen maken, maar te weinig stilstaan bij de ethische implicaties ervan. Ik pleit met andere woorden voor een cognitief divers ontwerpteam, waarbij een ethicus kan wijzen op het gevaar van bijvoorbeeld een app. Rijkgeschakeerde dingen blinken altijd, dus een ontwerpteam met een diversiteit van meningen en opinies dat elkaar al eens durft challengen en gedachten laat botsen zal wellicht veel vervelende zaken vooraf kunnen uitsluiten of ontmijnen.”