Wat is Fairlearn?

Fairlearn is een open source toolkit die gemaakt is om datawetenschappers en ontwikkelaars te helpen door de “fairnessfactor” (vrij vertaald: ‘eerlijkheidsfactor’) in hun AI-systemen te beoordelen en te verbeteren. Wanneer Machine Learning algoritmen worden gebruikt bij de training van AI-systemen bestaat de kans dat er verschillende vormen van bias (vrij vertaald: ‘vertekening’ of ‘vooroordeel’) ontstaan. Deze vormen van bias kunnen ongewenste implicaties hebben op de dataverwerking en de uitkomsten van deze verwerking. Microsoft spreekt daarom over bias in de betekenis van “harm”, in het Nederlands “schade”. Daarom is het belangrijk om deze eerlijkheidsfactor te beoordelen en te verbeteren, indien nodig.

Aangezien het definiëren van eerlijkheid een uitdaging op zich is en er veel diverse vormen van schade voorkomen, is het team achter Fairlearn bescheiden in hun aanpak. Hun tool concentreert zich op slechts twee soorten schade:

1. Schade als gevolg van oneerlijke toewijzing van middelen, informatie of kansen.
   Een voorbeeld hiervan is een sollicitatietool van Amazon die de CV’s van vrouwen lager beoordeelde dan die van mannen.
2. Schade als gevolg van ongelijke kwaliteit van dienstverlening.
   Verschillende studies (o.a. van Stanford University) tonen aan dat geautomatiseerde spraakherkenningssystemen (Google Assistant, Siri, Amazon Alexa, …) een substantiële raciale ongelijkheid vertonen tussen spraakpatronen en accenten van Afro-Amerikaanse en blanke Engelstalige gebruikers.

Meer voorbeelden van verschillende vormen van bias en welke effecten ze kunnen hebben op het dagelijks leven kan je terugvinden in de video keynote “The Trouble with Bias” van Kate Crawford, o.a. hoofdonderzoekster bij Microsoft Research Lab.

Hoe werkt het?

Fairlearn heeft twee componenten:

1. Het interactief visualisatiedashboard.
   Dit dashboard helpt bij het beoordelen/evalueren van potentiële groepen mensen die negatief kunnen worden beïnvloed door het systeem. Aan de hand van een visualisatie geeft het dashboard informatie over de mate van de eerlijkheid en accuraatheid van het systeem.
2. De mitigatie-algoritmen.
   Deze tool streeft ernaar de oneerlijkheid te verminderen door verschillende algoritmen voor nabewerking alsook reductie aan te bieden. Op deze manier probeert Fairlearn de effecten/invloed van de bias zo veel mogelijk af te zwakken. De gebruiker krijgt verschillende opties aangeboden die variëren in de afweging tussen de eerlijkheid en de accuraatheid van het systeem.

Indien je meer informatie wil over de werking van de toolbox loont het zeker de moeite om de whitepaper van Fairlearn te lezen waarin Microsoft meer in detail gaat.
In deze video op het Microsoft Developer YouTube-kanaal wordt een overzicht en een demonstratie van Fairlearn gegeven.
Lezers met honger naar wiskundige en programmatie informatie kunnen terecht bij de gebruikershandleiding op de Github van Fairlearn.

Enkele bedenkingen

Hoewel Fairlearn een veelbelovend onderzoeksinitiatief is en een stap in de richting van articulatie en formalisering van eerlijkheid, erkennen de auteurs de beperkingen omtrent het socio-technische karakter van het concept eerlijkheid en de brede omvang van de verschillende elementen die tot een eerlijk algoritme leiden.

Dit maakt dat Fairlearn geen onfeilbare tool is voor het perfect beoordelen en mitigeren van oneerlijkheid in algoritmen. Indien hiermee geen rekening wordt gehouden bij de implementatie van de tool, zeker in grootschalige services zoals Azure Machine Learning, bestaat het risico dat het een ‘checkbox’-oefening wordt. Als gevolg, fungeert de tool louter als een soort vrijbrief om een bureaucratische doelmatigheid te dienen (“het algoritme is eerlijk want we hebben Fairlearn gebruikt”) in plaats van een hoger doel te bereiken, namelijk Fairlearn gebruiken om algoritmen te ontwikkelen en aan te passen zodat ze vrij zijn van bias.

Daarom is het belangrijk dat deze tool rijker wordt in termen van mitigatiealgoritmen en democratischer in termen van toegankelijkheid. Het feit dat Microsoft de ontwikkeling en gebruik van Fairlearn open-source maakt is zeker een pluspunt. Alleen kan dit op zich niet garanderen dat de tool op de juiste manier en voor de juiste (ethische) doeleinden gebruikt wordt. Uiteindelijk is het niet het platform maar de klanten die dit eindbesluit nemen en moeten verantwoorden.