Tool

AI Blindspots Kaartenset

Hoe kan je rekening houden met mogelijke vooroordelen en structurele ongelijkheden voor, tijdens en na de ontwikkeling van een AI-systeem? Om je hierbij te kunnen helpen, ontwikkelden het Kenniscentrum Data & Maatschappij en Agoria de 'AI Blindspots' kaartenset om mogelijke 'AI Blindspots' te identificeren door te reflecteren over de beslissingen en acties die je neemt voorafgaand aan de ontwikkeling van je AI-systeem.

De kaartenset werd aangepast op basis van 'AI Blindspot' van Ania Caldeeron, Dan Taber, Hong Qu and Jeff Wen, die de kaartenset ontwikkelden tijdens het Berkman Klein Center een MIT Media Labs's 2019 Assembly Program. De kaartenset is vekrijgbaar onder een CC BY 4.0 licentie. Het Kenniscentrum Data & Maatschappij paste de originele kaartenset aan de Vlaamse context aan, om de ontwikkeling van betrouwbare AI in Vlaanderen te ondersteunen. Agoria maakte de aanpassingen om deze aan te bieden voor het Belgische eco-systeem.


Wat zijn AI Blindspots?

'AI Blindspots' zijn dingen die vaak over het hoofd worden gezien vóór, tijdens of na de ontwikkeling van een AI-systeem. Ze komen voort uit vooroordelen, vooringenomenheid en structurele ongelijkheden in de maatschappij. De ongunstige gevolgen van 'AI Blindspots' voorspellen is een hele uitdaging. Je kunt die gevolgen wel afzwakken door ze proactief te detecteren en passend te handelen.


Methode

Iedere kaart bevat:

  • Een reeks vragen die je toelaten te reflecteren over mogelijke 'blindspots'
  • Een 'use case' om het belang van die 'blindspot' aan te tonen
  • Enkele tools en tips die je kunnen helpen de 'blindspot' te detecteren/te reduceren


Hoe moet je de kaartenset gebruiken :

  • Lees telkens de korte introductie bij iedere 'blindspot' voor in groep.
  • Probeer een antwoord te formuleren op ieder van de vragen op de kaarten.
  • De tools en tips helpen je om een antwoord te formuleren op deze vragen.
  • Lees het 'zo moet het niet' voorbeeld als je wil te weten komen waarom het identificeren van die 'blindspot' zo belangrijk is.
  • Aan het eind van de kaartenset is er een jokerkaart zodat jij of jouw team andere mogelijke 'blindspots' zelf kunnen aanvullen.


Volgende stappen

De AI Blindspots kaartenset van het Kenniscentrum Data & Maatschappij en Agoria focust momenteel nog louter op mogelijke blindspots die kunnen opduiken voorafgaand aan de ontwikkeling van een systeem. In de toekomst wordt deze kaartenset verder uitgewerkt met mogelijke blindspots voor de twee andere fases, namelijk tijdens en nadat een systeem wordt ontwikkeld.

1

Doel

Bij de start van een AI-project bepaal je het doel van je AI-systeem. Daarbij praat je met stakeholders, experts en je team om je doel en het probleem waarop je AI-systeem een antwoord moet bieden, duidelijk af te lijnen.

HEB JE HIERAAN GEDACHT?

  1. Heb je het probleem en het resultaat waarvoor je optimaliseert duidelijk uitgedrukt?
  2. Is de tool geschikt om dit resultaat te bereiken?
  3. Erkennen alle geraadpleegde en betrokken stakeholders dit als een belangrijk probleem?
  4. Heb je nagedacht over de voordelen en nadelen van je AI-systeem voor elke stakeholder?
  5. Hoe zal je garanderen dat het AI-systeem gericht blijft op het gestelde doel?

ZO MOET HET NIET

Een bedrijf introduceerde een AI-systeem om de productie te versnellen. Indirect had dit als gevolg dat werknemers hun bonussen kwijtraakten. Dit had vermeden kunnen worden door met de vakbonden, als betrokken stakeholder in het project, te praten over manieren om de snelheid te verhogen zonder dat de bonus verloren gaat.

TOOLS & TIPS

2

Data-evenwicht

Data-evenwicht houdt in dat je bent nagegaan of je data representatief is en dat je hebt nagedacht over hoe je onevenwicht in je data kan reduceren.

HEB JE HIERAAN GEDACHT?

  1. Wat is de minimaal haalbare gegevensverzameling die je volgens domeinexperts nodig hebt?
  2. Wat of wie kan uitgesloten worden in je data?
  3. Welke gevolgen hebben beperkingen van je data op de representativiteit van je model en de acties die door je model worden ondersteund?
  4. Als je data niet in evenwicht is, hoe kan je deze beperking dan minimaliseren?
  5. Kan je, rekening houdend met je data, de case of persoon beschrijven waarvoor je voorspellingen het meest onbetrouwbaar zullen zijn?

ZO MOET HET NIET

Na de release van de enorm populaire Pokémon Go merkten verschillende gebruikers op dat er minder Pokémon-locaties waren in voornamelijk zwarte wijken. Dit kwam omdat de makers van de algoritmen er niet in slaagden om een gevarieerde trainingsset te gebruiken, en geen tijd doorbrachten in deze buurten.

TOOLS & TIPS

3

Databestuur & privacy

Vragen over databestuur en de impact op de privacy van de betrokkenen van wie de persoonsgegevens door het AI-systeem worden verwerkt, horen bij de voorbereiding van je AI-project. Door het niveau van de toegang tot data te bepalen en de informatiestroom te beschrijven, kun je de rechten van je betrokkenen beter beschermen.

HEB JE HIERAAN GEDACHT?

  1. Kan je de data rechtmatig verwerken of hergebruiken?
    1. Als je de data hergebruikt, is het doel hetzelfde?
    2. Zijn er passende contractuele afspraken?
    3. Kan je de data verwerken of hergebruiken op basis van toestemming of andere gronden?
  2. Verzamel je gevoelige gegevens?
  3. Heb je speciale procedures om je data te beveiligen?
  4. Wie krijgt toegang tot de (verzamelde) data (intern en extern)?
  5. Kan je voldoen aan de rechten van de betrokkenen op grond van de AVG (GDPR)?

ZO MOET HET NIET

Een Brits ziekenhuis dat samen met Deepmind werkt aan een AI-toepassing voor het opsporen en diagnosticeren van nierschade werd beboet voor het overtreden van de regels voor persoonsgegevens. Het had persoonlijke gegevens van 1,6 miljoen patiënten doorgegeven zonder dat zij daarover voldoende waren geïnformeerd.

TOOLS & TIPS

4

Samenstelling van het team

Het is moeilijk om inzicht te krijgen in mogelijke (ethische) kwesties als je niet op de hoogte bent van vooroordelen binnen je team. Dergelijke blindspots kun je alleen vermijden door ze bloot te leggen.

HEB JE HIERAAN GEDACHT?

  1. Heb je gedacht aan vooroordelen binnen je team?
  2. Is je team divers en multidisciplinair, of is het op de hoogte van het probleemgebied waarvoor je een oplossing probeert te vinden?
  3. Wie moet je uitnodigen om dit verkeerde idee bloot te leggen?

ZO MOET HET NIET

De software van Google die foto’s automatisch in categorieën onderbrengt, verwarde zwarte mensen soms met gorilla’s. Als de dienst getest was door leden van het team met een donkere huid, had deze uitkomst drastisch beperkt kunnen worden.

TOOLS & TIPS

5

Grensoverschrijdende expertise

Misschien ben je een expert in ‘machine learning’, maar niet in het domein waarop je ‘machine learning’ toepast. Dit is geen probleem als je kunt rekenen op een expert die je kan vertellen welke typische uitschieters, belangrijke variabelen of gebruikelijke praktijken van invloed kunnen zijn op je data.

HEB JE HIERAAN GEDACHT?

  1. Heb je met domeinexperts besproken wat de minimaal haalbare gegevensverzameling is die je nodig hebt zodat je AI-systeem zijn doel kan bereiken?
  2. Welke variabelen zijn van essentieel belang voor je probleem?
  3. Heb je een expert ingeschakeld om je te helpen de resultaten van je algoritme te beoordelen?
  4. Heb je een expert ingeschakeld om te begrijpen wat de impact van je algoritme zou moeten zijn?

ZO MOET HET NIET

Een nieuw algoritme moest bepalen wie op een spoedafdeling meteen zou worden gecontroleerd op een longontsteking. Volgens het algoritme hadden mensen met astma geen onmiddellijke zorg nodig. Experts gingen hier niet mee akkoord omdat astmapatiënten dringend worden behandeld op een spoedafdeling. De experts zagen dat dit was gebaseerd op verkeerde veronderstellingen door het AI-systeem. Uit de trainingsdata, bleek dat astmapatiënten het minst lang op de spoedafdeling bleven. Daarom besloot het AI-systeem dat zij voor de doeltreffendheid van de spoedafdeling niet belangrijk waren.

TOOLS & TIPS

  • Interview of focusgroep met expert(en)
  • Workshop over technische en systeemvereisten
6

Kans op misbruik

Je AI-systeem is bedoeld om de wereld beter te maken. Als je echter alleen focust op de positieve aspecten, verlies je misschien uit het oog hoe het systeem ook schade kan aanrichten. Voorkomen is altijd beter dan genezen. Bedenk dus wat een echt kwaadwillige partij kan doen met je applicatie.

HEB JE HIERAAN GEDACHT?

  1. Hoe kan het AI-systeem onethisch worden gebruikt?
  2. Wat zouden de gevolgen zijn van dergelijk onethisch gebruik van je AI-systeem?
  3. Wie heb je ingeschakeld om de onderliggende sociale motivaties en dreigingsmodellen te begrijpen?
  4. Wat is je afzwakkingsstrategie voor het geval je AI-systeem onethisch wordt gebruikt?
  5. Wat doe je als je algoritme onethisch gedrag ontwikkelt?
  6. Wat zijn de belangrijkste ethische principes waarmee je AI-systeem moet rekening houden?

ZO MOET HET NIET

In 2016 bracht Microsoft een Twitter-chatbot uit met de naam Tay. Binnen 24 uur klonk Tay helemaal anders, omdat ze op basis van de tweets die naar haar werden verstuurd had geleerd een racistische twittergebruiker te worden. Microsoft trok de chatbot daarom al snel terug.

TOOLS & TIPS

  • Maak scenario's om de schadelijke en onethische praktijken van je systeem te begrijpen, en bekijk de gevolgen ervan voor onschuldige niet-betrokken persona’s.
  • Vraag raad aan experten uit sociale en rechtswetenschappen

Downloads

Benieuwd? Download de kaartenset en ga hiermee aan de slag (in jouw team). Er zijn 2 versies:

  • Print versie: QR-codes voor tools & tips die je brengen naar deze webpagina.
  • Digitale versie: hyperlinks voor tools & tips die je direct brengen naar de externe webpagina's.

De kaartenset van het Kenniscentrum Data & Maatschappij en Agoria is verkrijgbaar onder een CC BY 4.0 licentie en mag dus gedeeld en bewerkt worden zonder onze toestemming te vragen, zolang je ons als auteur vermeldt.