TOOL

AI Blindspots kaartenset 2.0

Hoe kan je rekening houden met maatschappelijke vooroordelen en structurele ongelijkheden voor, tijdens en na de ontwikkeling van je data- of AI-toepassing? Om je hierbij te kunnen helpen, ontwikkelde het Kenniscentrum Data & Maatschappij de AI Blindspots kaartenset.

Bij de ontwikkeling van een nieuwe AI-toepassing is de mindset gericht op verbetering: je AI-toepassing is pas geslaagd wanneer het een (betere) oplossing biedt voor het probleem dat je wil aanpakken. Dat maakt het moeilijk om ook rekening te houden met onvoorziene negatieve gevolgen van je AI-toepassing. De AI Blindspots kaartenset helpt je 'AI Blindspots' - ethische valkuilen - te identificeren door te reflecteren over de beslissingen en acties die je neemt in het ontwikkelingsproces van je data- of AI-toepassing. Zo kan je jouw data- of AI-toepassing verbeteren en tegelijkertijd mogelijke negatieve neveneffecten van je toepassing aanpakken.

Wat je wil weten voor je verder leest


  • Voor wie: industrie, beleid en middenveldorganisaties
  • Projectfase: probleemanalyse/ideatie, ontwerp, ontwikkeling, implementatie, evaluatie/iteratie
  • Systeemonderdeel: gehele toepassing en gebruikers
  • Prijs: vrij beschikbaar
  • Taal: Engels (Nederlandse vertaling volgt)

Waarom zou je de kaartenset gebruiken?

De kaartenset kan jou en je team helpen...

  • een cultuur van ethisch en maatschappelijk bewustzijn te creëren;
  • uitdagingen te identificeren voordat ze schade veroorzaken;
  • de algemene kwaliteit en acceptatie van je product te verbeteren;
  • met je stakeholders te communiceren over de ethische, maatschappelijke en juridische impact van je product én hoe je hier als bedrijf mee omgaat.

Wat kan je vinden in de kaartenset?

De kaartenset bestaat uit 2 type kaarten:

  • De AI Blindspots kaarten zijn verdeeld in drie fasen, namelijk de planningsfase, de ontwikkelingsfase en de implementatiefase. Elke kaart presenteert een blindspot en bevat:
    • Een reeks vragen die je toelaten te reflecteren over mogelijke 'blindspots'
    • Een 'use case' om het belang van die 'blindspot' aan te tonen
    • Enkele tools en tips die je kunnen helpen de 'blindspot' te detecteren/te reduceren
  • De Ethische Dilemma kaarten zijn voorbeelden van situaties waarin een ethisch probleem opduikt.


Hoe kan je de kaartenset gebruiken?

Hieronder vind je een overzicht van een zestal methodes om de AI Blindspots kaartenset te gebruiken in je bedrijf.

Als gespreksstarter:

  1. Een gespreksstarter voor jou en je bedrijf om de ethische, juridische en maatschappelijke aspecten van data-/AI-toepassingen te bespreken.

Tijdens een workshop:

  1. Een workshop met je team waarin jullie focussen op één Ethische Dilemma kaart naar keuze en hiervoor oplossingen proberen te bedenken. Daarna haal je de AI Blindspots kaarten erbij ter inspiratie en kijk je of je andere oplossingen kan bedenken of een van de reeds bedachte oplossingen concreter kan maken. > template beschikbaar (zie downloads)
  2. Een workshop met je team waar de groep wordt opgedeeld in 3 kleinere groepen. Opnieuw focus je op één Ethische dilemma kaart naar keuze. Maar iedere groep bekijkt een andere fase van de AI Blindspots kaarten (planning, development, implementation) en probeert aan de hand van hun kaarten oplossingen te bedenken voor het dilemma. > template beschikbaar (zie downloads)
  3. Een workshop met je team waarin je focust op een eigen geïdentificeerd ethisch dilemma - schrijf dit neer op de Ethische Dilemma jokerkaart. Bedenk vervolgens in groep een of meerdere oplossingen voor dit dilemma. Je kan de AI Blindspots kaarten gebruiken ter inspiratie.
  4. Een workshop met je team waarin je met behulp van een omgekeerde brainstorm vereisten voor je data-/AI-toepassing bedenkt. Een omgekeerde brainstorm lost het probleem niet op, maar maakt het zelfs groter. Gebruik de AI Blindspots kaarten en vraag jezelf af: "Hoe kunnen we ervoor zorgen dat deze blindspot een realiteit wordt voor onze data-/AI-toepassing?". Zet deze (negatieve) onethische maatregelen nu om naar (postitieve) ethische vereisten voor je data-/AI-toepassing. > template beschikbaar (zie downloads)

Ter evaluatie:

  1. Gebruik de AI Blindspots kaarten als een double-check bij de planning, de ontwikkeling of de implementatie van je data-/AI-toepassing. Heb je rekening gehouden met deze blindspots? Zo niet, overleg dan met je team hoe je met de blindspots zal omgaan.
1

Planningsfase

De AI Blindspots kaarten zijn verdeeld in drie fasen, die overeenkomen met de drie grote fasen in een project met en/of het ontwikkelingsproces van datatoepassingen en AI-systemen. Deze fasen zijn de plannings-, ontwikkelings- en implementatiefase. De planningsfase is de eerste fase, voorafgaand aan de ontwikkeling van de datatoepassing of het AI-systeem, waarin het doel, de doelgroep, het nut, etc. van de technologie wordt bepaald. Voor de planningsfase identificeerden we de volgende AI Blindspots:

  1. Purpose
  2. Data balance
  3. Data governance & privacy
  4. Team composition
  5. Cross boundary expertise
  6. Abusability

Klik op een blindspot en kom meer te weten over hoe je deze kan identificeren en detecteren/reduceren.

2

Ontwikkelingsfase

De ontwikkelingsfase is de tweede fase waarin je al een duidelijk doel en een doelgroep voor je datatoepassing of AI-systeem voor ogen hebt, maar het nu aankomt op de uitwerking van je datatoepassing of AI-systeem. Voor de ontwikkelingsfase identificeerden we de volgende AI Blindspots:

  1. Discrimination by proxy
  2. Explainability
  3. Performance balance
  4. Inclusion/ommission check
  5. Dataset shift

Klik op een blindspot en kom meer te weten over hoe je deze kan identificeren en detecteren/reduceren.

3

Implementatiefase

Tenslotte, heb je de implementiefase waarin je jouw datatoepassing of AI-systeem finaliseert en op de markt brengt en/of jouw project waarin een AI-component aanwezig is lanceert. Met welke AI Blindspots moet je in deze fase rekening houden? Voor de implementatiefase identificeerden we de volgende AI Blindspots:

  1. Generalization error
  2. Right to explanation/objection
  3. User manual
  4. Transparency
  5. Service reconsideration
  6. Accountability & sign-off
  7. Revisited purpose
  8. Perverse effects

Klik op een blindspot en kom meer te weten over hoe je deze kan identificeren en detecteren/reduceren.

Ethische dilemma's

Downloads

En nu...?

  • Download de kaartenset en ga er zelf mee aan de slag!
  • Download ook de onderstaande PDF met 2 templates voor de AI Blindspots kaartenset te gebruiken. Bij de eerste template start je vanaf een ethisch dilemma en ga je aan de slag met de AI Blindspots kaarten (workshopmethode 1 en 2). De tweede template kan je gebruiken voor de reversed brainstorm met de AI Blindspots kaartenset (workshopmethode 4). In de PDF wordt telkens een ingevuld exemplaar meegegeven als voorbeeld.

De kaartenset werd aangepast op basis van 'AI Blindspot' van Ania Caldeeron, Dan Taber, Hong Qu and Jeff Wen, die de kaartenset ontwikkelden tijdens het Berkman Klein Center een MIT Media Labs's 2019 Assembly Program. De AI Blindspots kaartenset is verkrijgbaar onder een CC BY 4.0 licentie.

Het Kenniscentrum Data & Maatschappij paste de originele kaartenset aan de Vlaamse context aan, om de ontwikkeling van betrouwbare AI in Vlaanderen te ondersteunen.