Bij de start van een AI-project bepaal je het doel van je AI-systeem. Daarbij praat je met stakeholders, experts en je team om je doel en het probleem waarop je AI-systeem een antwoord moet bieden, duidelijk af te lijnen.

HEB JE HIERAAN GEDACHT?

1. Heb je het probleem en het resultaat waarvoor je optimaliseert duidelijk uitgedrukt?
   
2. Is de tool geschikt om dit resultaat te bereiken?
   
3. Erkennen alle geraadpleegde en betrokken stakeholders dit als een belangrijk probleem?
   
4. Heb je nagedacht over de voordelen en nadelen van je AI-systeem voor elke stakeholder?
   
5. Hoe zal je garanderen dat het AI-systeem gericht blijft op het gestelde doel?

ZO MOET HET NIET

Een bedrijf introduceerde een AI-systeem om de productie te versnellen. Indirect had dit als gevolg dat werknemers hun bonussen kwijtraakten. Dit had vermeden kunnen worden door met de vakbonden, als betrokken stakeholder in het project, te praten over manieren om de snelheid te verhogen zonder dat de bonus verloren gaat.

TOOLS & TIPS

• V 1&2: template voor probleemstelling
  
• V 2: cursus over 'machine learning' (Google)
• V 3: andere applicaties van je 'machine learning' toepassen op je case: klopt het nog?
• V 3: stakeholders identificeren en valideren

Data-evenwicht houdt in dat je bent nagegaan of je data representatief is en dat je hebt nagedacht over hoe je onevenwicht in je data kan reduceren.

HEB JE HIERAAN GEDACHT?

1. Wat is de minimaal haalbare gegevensverzameling die je volgens domeinexperts nodig hebt?
   
2. Wat of wie kan uitgesloten worden in je data?
   
3. Welke gevolgen hebben beperkingen van je data op de representativiteit van je model en de acties die door je model worden ondersteund?
   
4. Als je data niet in evenwicht is, hoe kan je deze beperking dan minimaliseren?
   
5. Kan je, rekening houdend met je data, de case of persoon beschrijven waarvoor je voorspellingen het meest onbetrouwbaar zullen zijn?

ZO MOET HET NIET

Na de release van de enorm populaire Pokémon Go merkten verschillende gebruikers op dat er minder Pokémon-locaties waren in voornamelijk zwarte wijken. Dit kwam omdat de makers van de algoritmen er niet in slaagden om een gevarieerde trainingsset te gebruiken, en geen tijd doorbrachten in deze buurten.

TOOLS & TIPS

• V 1: interview met een domeinexpert
• V 2, 3 & 4: Data Collection Bias Assessment, Aequitas
• V 5: maak een persona van de onzichtbare man/vrouw

Vragen over databestuur en de impact op de privacy van de betrokkenen van wie de persoonsgegevens door het AI-systeem worden verwerkt, horen bij de voorbereiding van je AI-project. Door het niveau van de toegang tot data te bepalen en de informatiestroom te beschrijven, kun je de rechten van je betrokkenen beter beschermen.

HEB JE HIERAAN GEDACHT?

1. Kan je de data rechtmatig verwerken of hergebruiken?
   1. Als je de data hergebruikt, is het doel hetzelfde?
   2. Zijn er passende contractuele afspraken?
   3. Kan je de data verwerken of hergebruiken op basis van toestemming of andere gronden?
2. Verzamel je gevoelige gegevens?
   
3. Heb je speciale procedures om je data te beveiligen?
   
4. Wie krijgt toegang tot de (verzamelde) data (intern en extern)?
5. Kan je voldoen aan de rechten van de betrokkenen op grond van de AVG (GDPR)?

ZO MOET HET NIET

Een Brits ziekenhuis dat samen met Deepmind werkt aan een AI-toepassing voor het opsporen en diagnosticeren van nierschade werd beboet voor het overtreden van de regels voor persoonsgegevens. Het had persoonlijke gegevens van 1,6 miljoen patiënten doorgegeven zonder dat zij daarover voldoende waren geïnformeerd.

TOOLS & TIPS

• Data Protection Impact Assessment
• Gegevensstromen in kaart brengen
• Contact met gegevensbeschermingsdeskundigen

Het is moeilijk om inzicht te krijgen in mogelijke (ethische) kwesties als je niet op de hoogte bent van vooroordelen binnen je team. Dergelijke blindspots kun je alleen vermijden door ze bloot te leggen.

HEB JE HIERAAN GEDACHT?

1. Heb je gedacht aan vooroordelen binnen je team?
   
2. Is je team divers en multidisciplinair, of is het op de hoogte van het probleemgebied waarvoor je een oplossing probeert te vinden?
   
3. Wie moet je uitnodigen om dit verkeerde idee bloot te leggen?

ZO MOET HET NIET

De software van Google die foto’s automatisch in categorieën onderbrengt, verwarde zwarte mensen soms met gorilla’s. Als de dienst getest was door leden van het team met een donkere huid, had deze uitkomst drastisch beperkt kunnen worden.

TOOLS & TIPS

• V 1: impliciete associatie test
• V 2: bezoek ter plaatse, 'empathy map', persona, ...

Misschien ben je een expert in ‘machine learning’, maar niet in het domein waarop je ‘machine learning’ toepast. Dit is geen probleem als je kunt rekenen op een expert die je kan vertellen welke typische uitschieters, belangrijke variabelen of gebruikelijke praktijken van invloed kunnen zijn op je data.

HEB JE HIERAAN GEDACHT?

1. Heb je met domeinexperts besproken wat de minimaal haalbare gegevensverzameling is die je nodig hebt zodat je AI-systeem zijn doel kan bereiken?
   
2. Welke variabelen zijn van essentieel belang voor je probleem?
3. Heb je een expert ingeschakeld om je te helpen de resultaten van je algoritme te beoordelen?
4. Heb je een expert ingeschakeld om te begrijpen wat de impact van je algoritme zou moeten zijn?

ZO MOET HET NIET

Een nieuw algoritme moest bepalen wie op een spoedafdeling meteen zou worden gecontroleerd op een longontsteking. Volgens het algoritme hadden mensen met astma geen onmiddellijke zorg nodig. Experts gingen hier niet mee akkoord omdat astmapatiënten dringend worden behandeld op een spoedafdeling. De experts zagen dat dit was gebaseerd op verkeerde veronderstellingen door het AI-systeem. Uit de trainingsdata, bleek dat astmapatiënten het minst lang op de spoedafdeling bleven. Daarom besloot het AI-systeem dat zij voor de doeltreffendheid van de spoedafdeling niet belangrijk waren.

TOOLS & TIPS

• Interview of focusgroep met expert(en)
• Workshop over technische en systeemvereisten

Je AI-systeem is bedoeld om de wereld beter te maken. Als je echter alleen focust op de positieve aspecten, verlies je misschien uit het oog hoe het systeem ook schade kan aanrichten. Voorkomen is altijd beter dan genezen. Bedenk dus wat een echt kwaadwillige partij kan doen met je applicatie.

HEB JE HIERAAN GEDACHT?

1. Hoe kan het AI-systeem onethisch worden gebruikt?
2. Wat zouden de gevolgen zijn van dergelijk onethisch gebruik van je AI-systeem?
   
3. Wie heb je ingeschakeld om de onderliggende sociale motivaties en dreigingsmodellen te begrijpen?
4. Wat is je afzwakkingsstrategie voor het geval je AI-systeem onethisch wordt gebruikt?
5. Wat doe je als je algoritme onethisch gedrag ontwikkelt?
6. Wat zijn de belangrijkste ethische principes waarmee je AI-systeem moet rekening houden?

ZO MOET HET NIET

In 2016 bracht Microsoft een Twitter-chatbot uit met de naam Tay. Binnen 24 uur klonk Tay helemaal anders, omdat ze op basis van de tweets die naar haar werden verstuurd had geleerd een racistische twittergebruiker te worden. Microsoft trok de chatbot daarom al snel terug.

TOOLS & TIPS

• Maak scenario's om de schadelijke en onethische praktijken van je systeem te begrijpen, en bekijk de gevolgen ervan voor onschuldige niet-betrokken persona’s.
  
• Vraag raad aan experten uit sociale en rechtswetenschappen