Discriminatie is niet nieuw, maar algoritmen spelen hier steeds vaker een kwalijke rol in. De Toeslagenaffaire in Nederland is pijnlijk voorbeeld, waarbij indicatoren zoals ‘dubbele nationaliteit’ werden gebruikt om aanvragen te beoordelen op mogelijke fraude. Deze affaire leidde ertoe dat duizenden ouders onterecht van fraude met kinderopvangtoeslag werden beschuldigd. De Nederlandse Belastingdienst maakte bij deze affaire namelijk gebruik van een zelflerend algoritme om fraude te controleren. Indicatoren zoals 'dubbele nationaliteit' werden gebruikt om aanvragen te beoordelen op fraude.

Sindsdien zijn nog vele gevallen van algoritmische discriminatie aan het licht gekomen. Ook de Dienst Uitvoering Onderwijs (DUO), de Nederlandse organisatie die de studiefinanciering regelt, maakte bij het opsporen van fraude gebruik van risicoprofielen waarbij studenten met een migratieachtergrond disproportioneel vaak werden gecontroleerd. Een algoritme in de gemeente Amsterdam dat moest voorspellen welke kinderen in de toekomst crimineel zouden worden, kwam vooral met Marokkaanse namen. Veel van de algoritmen die sociale ongelijkheid verergeren worden tot op de dag van vandaag gebruikt.

Algoritmen zijn niet neutraal

Algoritmen worden vaak onterecht als objectief en neutraal gezien. Data zijn in het beste geval een reflectie van de samenleving zoals die is, niet zoals we die graag zouden willen. Algoritmen kunnen weliswaar geen racistische bedoelingen hebben, maar ze kunnen wel discriminerende effecten hebben.

Het lastige is dat algoritmen patronen van sociale ongelijkheid kunnen reproduceren, zonder dat er data over bijvoorbeeld ras of gender in het systeem zitten. Criteria die bedoeld zijn om te bepalen of iemand een crimineel of succesvolle werknemer wordt, zijn vaak nauw verbonden met socio-economische achterstand. Je inkomen, onderwijsniveau, en woonadres zeggen veel over je sociale positie. Dus hoewel algoritmen dat laatste eigenlijk niet mogen weten, komen ze er toch achter. Dit heet ook wel ‘proxy discriminatie’.

Stel, een universiteit wil een hoogleraar filosofie aannemen en gebruikt daarvoor een algoritme. Het liefst gebruik je dan als criterium ‘goede hoogleraar’. Helaas vindt een algoritme dit te moeilijk en moet je meetbare criteria bedenken zoals ‘aantal publicaties’, en ‘jaren werkervaring op vorige universiteiten’. Het probleem met veel van de criteria die op het eerste gezicht prima lijken, is dat ze beïnvloed zijn door bepaalde onwenselijke patronen in de samenleving.

Algoritmen houden een systeem in stand

Er is een overvloed aan factoren die maken dat vrouwen nog altijd worden ondervertegenwoordigd in de filosofie. Vrouwen worden gestereotypeerd als ongeschikt als filosofen, waardoor hun perspectieven en methoden niet worden gerespecteerd en hun werk minder wordt gepubliceerd. Ook zorgen uitsluitingsmechanismen in de academische wereld voor het vertrek van vrouwen bij elke carrièrestap. Een lekkende pijplijn dus.

Publicaties en werkervaring wijzen dus niet alleen op geschiktheid, maar ook op structurele onrechtvaardigheid die maakt dat deze criteria samenhangen met je sociale positie. Dit is lastig, want vaak zijn de criteria die je wilt gebruiken wel relevant en waardevol.

Structurele discriminatie in AI zorgt dus voor een dilemma. Aan de ene kant wil je dat algoritmen zo accuraat mogelijk zijn, maar aan de andere kant zorgt dat bijna per definitie dat je een systeem in stand houdt waarin bepaalde groepen structureel nadeel ondervinden zonder dat het hun eigen schuld is. Dit is waar het gesprek wat mij betreft over zou moeten gaan. Dan ben je dus echt met fundamentele vraagstukken bezig over de verantwoordelijkheid die je vanuit je professionele rol vindt dat je moet nemen. Dit gaat niet over het halen van technische fouten uit een systeem, maar over hoe je je wilt verhouden tot de interactie tussen technologie en maatschappij.

Geen technisch, maar filosofisch probleem

Vaak krijgt het probleem van algoritmische discriminatie aandacht vanuit een techno-centrische bril. Dat wil zeggen dat er een overvloed aan technische toepassingen is die bedoeld zijn om het probleem aan te pakken, zoals bias detectie systemen. Maar een ‘fool with a tool is still a fool’. Als we rechtvaardige algoritmen willen ontwerpen, moeten we begrijpen wat we bedoelen met rechtvaardigheid.

Moeten algoritmen rekening houden met ongelijke kansen? Of moeten we algoritmen juist kleurenblind maken? Dit zijn ethische en politiek-filosofische vragen waar een computer geen antwoord op kan geven. Je ziet dus ook helaas dat veel bias detectie systemen geen rekening kunnen houden met de complexiteit van de sociale context, waarin mensen verschillende deelidentiteiten hebben die elkaar ook nog beïnvloeden. Een zwarte vrouw heeft op een fundamenteel andere manier te maken met seksisme dan een witte vrouw.

Algoritmen kleurenblind proberen te maken lijkt een aantrekkelijk idee, maar kan het probleem verergeren. Allereerst werkt het niet om expliciete gevoelige data weg te laten, want het algoritme zal dit via proxies kunnen achterhalen, zoals we hebben gezien in de DUO casus. Maar zelfs als we proxies zouden kunnen weghalen, is deze aanpak niet zinvol. Zoals gezegd bevatten ze vaak juist waardevolle informatie, en dan is het nog maar de vraag wat je overhoudt. Je sociale positie is verstrengeld met ontzettend veel factoren: je kansen, relaties, keuzes, noem maar op.

Ten slotte maakt (de pretentie van) kleurenblindheid de ervaring van discriminatie juist erger. Omdat AI op complexe manieren werkt, is het voor individuen al heel moeilijk om te bewijzen dat ze onterecht zijn benadeeld. Toen VU-studente Robin Pocornie een klacht indiende omdat ze door haar huidskleur niet kon inloggen op Proctorio, werd ze niet in het gelijk gesteld, ondanks bewijs dat de software in het algemeen minder goed kan omgaan met donkere gezichten.

Om dan vast te houden aan de illusie van kleurenblindheid is alsof je zegt: ‘Wij verzamelen geen gevoelige data dus ons algoritme is objectief. De discriminatie die je ervaart is dus niet echt.’ Deze boodschap is bijzonder schadelijk aangezien de vermeende objectiviteit in combinatie met de complexiteit van AI ook nog eens zorgt dat de verantwoordelijkheid al snel wordt afgeschoven op het systeem: ‘De machine zegt het, dus het zal wel kloppen.’

Etnische registratie als oplossing?

Om onrechtvaardigheid in AI-systemen effectief te kunnen opsporen, hebben we misschien juist wél expliciete informatie nodig over iemands sociale positie. Een algoritme ziet alleen statistische patronen en kan twee gevallen als gelijk bestempelen terwijl ze dat niet zijn, omdat ze niet dezelfde startpositie hadden.

Een zwarte vrouw die een lage kredietscore krijgt toebedeeld komt op een hele andere manier tot die score dan een witte man. We moeten dus kunnen achterhalen hoe die score tot stand is gekomen en hoe structurele onrechtvaardigheid daar een rol in heeft gespeeld.

Dit kunnen we misschien alleen doen door het expliciete gebruik van data over ras, gender en andere gevoelige data. De vraag is vervolgens hoe we dit moeten doen. En hoe stop je eigenlijk ‘ras’ in een systeem? Is het etniciteit, migratieachtergrond, huidskleur, religie, nationaliteit of nog iets anders? Gaat het om hoe iemand zichzelf identificeert of hoe die door anderen gezien wordt? Dit zijn vragen waar geen eenduidig antwoord op is, maar ze zijn des te belangrijker om over te praten. Ik heb me in mijn Masterscriptie ‘Using race data to ameliorate structural algorithmic injustice’ met deze vraagstukken bezig gehouden en hoop wat licht te hebben geschenen op hoe we op een gestructureerde en constructieve manier kunnen nadenken over complexe ethische vragen.

AI moet er voor ons allemaal zijn, in al onze verscheidenheid.

Ik hoop dat ik duidelijk heb kunnen maken dat AI niet alleen voor technici is. We kunnen geen betekenisvolle gesprekken over AI voeren zonder de inzichten uit vakgebieden zoals de filosofie. Die gesprekken zouden met een zo groot mogelijke diversiteit aan mensen gevoerd moeten worden, met name de mensen die vanuit hun doorleefde ervaring inzicht hebben in discriminatie. Soms herken je pas misstanden als je ze zelf hebt meegemaakt. Soms ken je pas de manier waarop algoritmische systemen kunnen uitsluiten als je zelf tegen het systeem aanloopt. Uiteindelijk moet AI er voor ons allemaal zijn, in al onze verscheidenheid. Alleen als we ons durven wagen aan de ethische vragen, kan AI bijdragen aan onze visies van wat een mooi en betekenisvol leven inhoudt.