gastblog

Gastblog: Waarom leren en kennis noodzakelijk zijn om AI te mogen vertrouwen

28.09.2022

Dat AI een krachtige technologie is, hoeft onderhand geen betoog. Maar tegelijkertijd horen we ook veel waarschuwingen voor de fouten en risico’s van AI. Hoe zorgen we ervoor dat we het kind niet met het badwater weggooien? Raphaël Weuts, programmacoördinator bij VAIA, beschrijft de menselijke competenties die nodig zijn om robuuste AI-systemen te maken, systemen die ons vertrouwen verdienen. Daarbij is het belangrijk om niet alles over te laten aan de ontwikkelaar. Hij benadrukt dat ook de gebruikers actief aan de ontwikkeling van systemen moeten bijdragen. Om dat te kunnen doen, hebben zij ook nood aan een basiskennis AI.

Steeds meer laten we beslissingen over aan software. Vaak nog met een mens die de beslissing moet goedkeuren, maar wel al advies van ‘de AI’ krijgt:

  • Bij de cardioloog maakt AI de diagnose dat deze patiënt deze hartaandoening heeft
  • Bij de fiscus onderzoekt AI de belastingaangifte
  • Bij de politie kiest AI de locaties om meer politieagenten te zetten
  • In de auto kiest AI om in deze bebouwde kom (maximum) 50 km/u te gaan rijden

Daarom is het belangrijk dat we kunnen inschatten wanneer en hoeveel die beslissingen en adviezen te vertrouwen zijn en wanneer bijvoorbeeld het verkeersbordenherkenningssysteem van onze wagen zich vergist omdat deze affiche naast de weg hing:

Regen voorspelt ongelukken, regenjassen niet

De "vergeten variabele" is hier aan het werk, een eigenschap van de situatie die we niet in de meting opnemen. Stel bijvoorbeeld dat we een AI trainen om te voorspellen wanneer een fietser een accident heeft en dat we het model als volgt opstellen:

  • input: welke kleren iemand op de fiets droeg
  • output: of men een fietsaccident gehad heeft om de kans te voorspellen dat een nieuwe fietser een accident zal hebben

Het model zou heel gemakkelijk kunnen concluderen dat het dragen van een regenjas een goede voorspeller is om een ongeluk te voorspellen. Maar er wordt een variabele niet geobserveerd, en dat is het weer. Die vergeten variabele zou wel eens veroorzaakt kunnen hebben dat veel mensen een regenjas dragen én dat het wegdek nat en glad was. Het weer kan zo de oorzaak zijn van zowel de input (de regenjas), als de output (het ongeluk). Een AI-model dat vervolgens concludeert dat regenjassen voor fietsongelukken zorgt, mogen we niet blindelings vertrouwen.

Ervoor zorgen dat we heel veel en zeer kwalitatieve data verzamelen helpt helaas ook niet. Neem bijvoorbeeld deze studie waarbij onderzoekers zeer grote, gerespecteerde databanken gebruikten om het risico op overlijden in te schatten van patiënten die in het ziekenhuis aankomen met een longontsteking. Ze trainden hun model als volgt:

  • input: wie heeft behalve een longontsteking nog bijkomende aandoeningen en welke?
  • output: wie is er helaas overleden om de kans te voorspellen of een nieuwe patiënt zal overlijden

Interessante studie, met de output kunnen dokters voorspellen wie een behandeling nodig heeft: patiënten met een hoge kans op overlijden kunnen behandeld worden, de patiënten met een lage kans kan je naar huis terugsturen. Maar het resultaat is daar niet naar. Met de gegeven input voorspelt het systeem dat patiënten met bv. astma een lage kans op overlijden hebben en dus niet behandeld moeten worden. Astma is nochtans een zeer gevaarlijke bijkomende aandoening.

Wat ging er hier mis? Dat vroegen de onderzoekers aan de artsen die meewerkten aan de studie. Blijkbaar gebeurt dit: patiënten met een longontsteking én astma worden als kritieker geëvalueerd. Ze worden daarom vaker behandeld en… overleven gemakkelijker. Hier is dus opnieuw sprake van een vergeten variabele: de behandeling.

Wat doe je eraan?

Als ontwikkelaar

Het is belangrijk te weten hoe de gebruiker de AI wil inzetten en of dat al-dan-niet verschilt van de output die het programma juist voorstelt. Daarom moeten ontwikkelaars doorgedreven gesprekken voeren met hun klanten en moeten transparante modellen gebruikt worden waarmee hypotheses zeer grondig en uitgebreid getest kunnen worden. Bijvoorbeeld: zegt het model dat astma gevaarlijk is (zoals we verwachten) of juist niet? Als er dan fouten gespot worden, kan daar iets aan gedaan worden: een vergeten variabele zoals de behandeling kan dan in de input meegenomen worden, feedbackloops kunnen gespot en gebroken worden…

Daarvoor zijn natuurlijk vaardigheden nodig: we moeten als ontwikkelaars weten hoe causaliteit werkt, hoe we onze modellen kunnen uitleggen, hoe we vooroordelen (bias) meten en ervoor corrigeren, hoe we in kaart kunnen brengen op basis van welke aspecten (saliency) het systeem zijn advies bepaalde en hoe we kunnen corrigeren voor feedbackloops. Daarom is levenslang leren over AI zo belangrijk. VAIA verzamelt het aanbod voor Vlaanderen, het is zeker de moeite om de kanalen van VAIA te raadplegen

Als gebruiker

De ontwikkelaar moet begrijpen wat je nodig hebt en hoe je het precies wilt gebruiken. Daarvoor moet je zelf de basics van AI begrijpen. Hoe werkt causaliteit en hoe gedraagt zich dat in statistische en machine-learningmodellen? We moeten als gebruikers onze verantwoordelijkheid opnemen: AI-ontwikkelaars kunnen ons maar zo goed helpen als we onze uitdagingen ‘causaal correct’ aan hen kunnen uitleggen, maar de eindbeslissingen over toepassing van een systeem mogen niet bij de technische ontwikkelaars liggen, die horen bij de inhoudelijke experts.

Daarnaast is het ook belangrijk een goede ontwikkelaar te kiezen: weet de ontwikkelaar wat vergeten variabelen zijn? Kan hij/zij transparante modellen aanleveren die verklaarbaar zijn, neemt hij/zij de moeite om de volledige causale context mee in kaart te brengen en te begrijpen hoe je het systeem juist wilt inzetten? Als een ontwikkelaar op het einde van de rit samen met de gebruiker een analyse maakt zoals die in de studie hierboven en waar nodig het model bijstuurt, zijn alvast veel risico’s vermeden. (Ontdek VAIA’s overzicht met opleidingen over ethiek, wetgeving en recht in AI)

Dus wanneer kan je AI vertrouwen?

AI komt niet zonder risico’s, maar als zowel ontwikkelaars als gebruikers:

  • geleerd hebben hoe met dergelijke risico’s en systemen om te gaan,
  • weten welke variabelen invloed hebben op het probleem in kwestie,
  • intensief samenwerken om samen zowel de uitdaging in de organisatie alsook de technische oplossing ervoor goed te begrijpen,
  • samen hypotheses testen om het programma te valideren
  • regelmatig opnieuw analyseren of het systeem optimaal voor het doel werkt,

dan gaan we een fantastische toekomst tegemoet waarin AI mensenlevens zal redden, correct waarschuwt voor regen, en niet voor regenjassen.

Wil jij ook bijleren over AI? Ga ook eens rondneuzen in het VAIA’s uitgebreide overzicht met opleidingen en leermomenten over AI: www.vaia.be/nl/kalender/

Auteur:

Auteur:

Raphaël Weuts

Programmacoördinator VAIA

contact

Hoewel wij met zorg de auteurs selecteren, is het Kenniscentrum niet verantwoordelijk voor de inhoud van de gastblogs die wij publiceren en we zullen dan ook niet over de inhoud corresponderen. Bij vragen, opmerkingen of bedenkingen: contacteer de auteur(s)!

Lees onze volledige disclaimer hier.


Foto door Suparerg Suksai op Scopio.