Zomerblog: Van Labels tot Ervaringen: In gesprek met Mensen met een Prothese over AI
08.08.2023
De afgelopen jaren hebben we een enorme vooruitgang gezien in beeldherkenningssystemen. Zogenaamde state-of-the-art AI modellen kunnen mensen vrijwel foutloos herkennen in verschillende alledaagse situaties. Of het nu gaat om gezichtsherkenning op smartphones, het identificeren van personen in beveiligingscamera's of het classificeren van mensen in foto's op sociale media, deze state-of-the-art modellen hebben een opmerkelijk niveau van nauwkeurigheid bereikt.
Echter heeft niet iedereen hetzelfde lichaam, en hier hebben beeldherkenningssystemen nog veel te leren. Zoals beschreven wordt in dit artikel, hebben state of the art systemen talrijke problemen met het herkennen van mensen die prothesen dragen. Sterker: prothesen worden vaak aangeduid met denigrerende termen, zoals een stoel of een toilet. Dergelijke opvallende fouten onderstrepen de dringende behoefte aan aanzienlijke verbeteringen.
Maar hoe kunnen we deze systemen verbeteren? Hoewel AI vaak wordt beschouwd als een technologisch fenomeen, moeten we het ook zien als een instrument dat uiteindelijk in de specifieke leefwereld van mensen zal worden gebruikt. Tegelijkertijd is de leefwereld van AI-ontwikkelaars vaak totaal anders dan die van hun doelpubliek. Dat maakt het moeilijk om de nuances van het doelpubliek en hun leefwereld volledig te begrijpen en te integreren in AI-oplossingen. In gesprek gaan met het doelpubliek en aspecten ontdekken die je als ontwikkelaar zelf nooit had kunnen voorzien, is daarom cruciaal.
In de volgende secties presenteren we een eerste verkenning van een state-of-the-art beeldherkenningssysteem met mensen met een prothese. Tot slot bieden we inzichten in hoe het betrekken van mensen met een prothese de verbetering van deze systemen kan stimuleren.
Hoe AI mensen met een prothese ziet
Samen met het Amputee Care Center van Spronken in Genk, hebben we vier mensen met een prothese, een ergotherapeut, en Femke Loisse - de coördinator van het centrum - uitgenodigd om een state-of-the-art beeldherkenningssysteem op prothesen te testen. We lieten de deelnemers eerst voorbeelden zien van hoe het systeem foto's van prothesen interpreteert. Daarna lieten we de deelnemers zelf live op een semigestructureerde wijze experimenteren met het systeem op hun eigen prothesen. Het doel hierbij was om beter te begrijpen op welke manieren het systeem hun prothesen interpreteert, wat de impact van deze interpretaties op de deelnemers kan zijn, en hoe zij het systeem meer inclusief zouden maken.
We merkten al snel op dat het beeldherkenningssysteem mensen die een prothese dragen vaak op absurde manieren labelt. Bijvoorbeeld, in de bovenstaande afbeelding noemt het systeem de prothesearm van een deelnemer een "fles".
Uiteraard is "fles" een foutief label wat aangepast zou moeten worden. Maar hoe zou een systeem prothesen eigenlijk moeten benoemen? Maken ze deel uit van het lichaam en zouden ze eenvoudigweg deel moeten uitmaken van het label "persoon", of zouden ze hun eigen labels moeten hebben? Indien ze hun eigen labels zouden moeten hebben, hoe zouden ze dan moeten worden genoemd?
Hoewel er verschillen waren in hoe deelnemers willen dat hun prothesen specifiek worden genoemd, waren ze het er allemaal over eens dat de prothesen een naam moeten hebben. Het zou niet alleen deel moeten uitmaken van het label "persoon" (zoals te zien in de onderstaande afbeelding), maar een eigen label moeten hebben. Een deelnemer suggereerde om daarvoor volkstaalnamen te gebruiken, met andere woorden de AI afhankelijk van de regio en de cultuur maken.
De coördinator van het centrum vond het ook vreemd dat het systeem de prothese niet als een op zichzelf staand object labelt, zoals te zien is in de twee onderstaande afbeeldingen. Voor een belangrijke technologie zoals beeldherkenning zou ze verwachten dat het zo'n basisobject herkent.
Maatschappelijke onwetendheid
Een deelnemer merkte op dat de bovengenoemde misrepresentaties niet alleen een technisch probleem zijn, maar ook een breder maatschappelijk probleem. Hoewel hij van mening was dat de sociale acceptatie van prothesen de afgelopen decennia enorm is toegenomen, merkt hij nog steeds veel onwetendheid hierover op.
Bijvoorbeeld, in het openbaar weten mensen vaak niet hoe ze moeten reageren op een prothese of hoe het te benoemen. Het is dan ook niet verwonderlijk dat een beeldherkenningssysteem dat gebaseerd is op deze maatschappij ook onwetend kan zijn.
Diversiteit van prothesen
Natuurlijk is er ook een grote verscheidenheid aan prothesen beschikbaar. Ten eerste kunnen ze functioneren als verschillende lichaamsdelen, zoals onderste ledematen, bovenste ledematen, alleen een hand of alleen een vinger.
Ten tweede kan het uiterlijk van de prothese ook sterk verschillen. Sommige mensen kiezen ervoor om het metaal of plastic van de prothese zichtbaar te laten, terwijl anderen de voorkeur geven aan een hoes met texturen en kleuren die meer op de huid lijken.
Ten derde kunnen prothesen versierd worden, bijvoorbeeld met tatoeages. Dit resulteert opnieuw in een zeer verschillend visueel patroon dat beeldherkenningssystemen zouden moeten kunnen herkennen.
Het verschil in prothesen kan een aanzienlijke invloed hebben op de resultaten. Bijvoorbeeld, de armprothese met een blanke huidskleur in de onderstaande afbeelding wordt herkend als onderdeel van de persoon, wat zeer verschillende resultaten oplevert dan de vergelijkbare, afbeelding waarin een armprothese met een zwarte kleur als "stoel" wordt gelabeld.
Impact van verkeerde labeling
Voor de deelnemers werd de verkeerde labeling vaak als vreemd en onbegrijpelijk ervaren, maar niet per se beledigend. Het onderwerp "acceptatie" kwam hier snel op de voorgrond. Alle deelnemers droegen de prothese al geruime tijd en waren er zeer comfortabel mee.
Bijvoorbeeld, op de onderstaande afbeelding registreert het systeem een beenprothese van een deelnemer als "toilet". De reactie van de deelnemer was echter simpelweg: "Blijkbaar moet iemand nog veel meer foto's nemen" (als uitbreiding van een eerdere uitleg over hoe beeldherkenningssystemen a.d.h.v. datasets worden gebouwd). Dit geeft aan dat hij de fout van het systeem kon weglachen zonder er zelf al te veel door beïnvloed te worden.
Desalniettemin merkte de deelnemende coördinator van het centrum op dat ze vaak mensen heeft die net een prothese hebben gekregen (bijvoorbeeld na een ongeval). Deze mensen hebben nog geen volledig besef kunnen krijgen van het feit dat ze een prothese dragen en zijn er vaak nog niet comfortabel mee.
Ze merkte op dat voor deze mensen de kans zeer groot is dat resultaten zoals "stoel" of "toilet" zeer confronterend zouden zijn. Als een beeldherkenningssysteem dergelijke labels zou gebruiken, zou het acceptatieproces nog moeilijker worden.
Verschillen tussen deelnemers
Hoewel bovenstaande algemene thema's uit dit onderzoek naar voren kwamen, moet worden opgemerkt dat mensen met prothesen op zichzelf geen uniforme groep vormen. Mensen met een prothese hebben niet noodzakelijkerwijs dezelfde opvattingen over hoe ze vertegenwoordigd willen worden door beeldherkenningssystemen.
Bijvoorbeeld, terwijl een deelnemer vertelde dat hij zich redelijk op zijn gemak voelde met zijn prothese, haat hij het feit dat hij zijn verhaal telkens opnieuw moet uitleggen aan nieuwe mensen die hij ontmoet. Daarentegen antwoordde een andere persoon dat hij juist graag gesprekken heeft met mensen, ook over zijn prothesen. Hij ziet het als onderdeel van zijn levensverhaal en identiteit, en praat er daarom graag over.
Conclusie
De bovenstaande bevindingen belichten enkele essentiële aspecten die naar voren komen bij het ontwikkelen van AI voor mensen in specifieke contexten, zoals mensen met een prothese. Bij het nastreven van deze ontwikkelingen is het van het grootste belang om eerst in gesprek te treden met mensen uit die specifieke context. We geven graag enkele tips over hoe dit te doen.
Betrek mensen uit je doelgroep
Als ontwikkelaar zonder een prothese kun je zelf niet beslissen hoe prothesen worden benoemd. Prothesen zijn namelijk niet louter objecten, maar vormen een belangrijk deel van de dagelijkse realiteit, ervaringen en belevingen van mensen met een prothese. Om een beeldherkenningssysteem op een passende manier in te bedden in hun leefwereld, is het essentieel om inzicht te hebben vanuit het perspectief van deze mensen.
Zoals Femke Loisse, de coördinator van het Amputee Care Center van Spronken, vertelde, zijn prothesen voor haar bijvoorbeeld zo vanzelfsprekend dat ze het heel vreemd vindt dat een geavanceerd beeldherkenningssysteem ze niet correct kan benoemen. Voor ontwikkelaars die zelf geen prothesen in hun directe omgeving zien, is dit waarschijnlijk niet zo vanzelfsprekend.
Verwacht geen uniformiteit
Het is belangrijk om te realiseren dat individuen binnen een bepaalde groep waarschijnlijk niet uniform zijn. Wanneer je mensen uit een groep betrekt, is het gemakkelijk om te denken dat AI-systemen op een specifieke manier moeten worden gebouwd, zodat ze geschikt zijn voor iedereen binnen die groep. Maar zo werkt het niet. Mensen zien de wereld op verschillende manieren en hebben voorkeuren die kunnen verschillen van andere mensen binnen dezelfde groep. Dit verschil komt bijvoorbeeld naar voren in de acceptatie tussen mensen die al langere tijd een prothese dragen en mensen die recentelijk een prothese hebben gekregen. Het is dus essentieel om zelfs binnen een bepaalde groep te streven naar het begrijpen van verschillende perspectieven en die perspectieven uiteindelijk op een goede manier in een systeem te passen.
Ga expliciet opzoek naar de mogelijke gevolgen van je systeem
Tot slot moet je bewust zijn van de impact die verkeerde labels kunnen hebben op mensen die prothesen dragen. Terwijl sommige mensen absurditeit in labels kunnen relativeren, zijn er anderen die dat nog niet kunnen. Voor deze laatste groep kan een denigrerende misrepresentatie aanzienlijke emotionele stress veroorzaken. Bovendien is het nog steeds onduidelijk wat de praktische implicaties van dergelijke misrepresentaties zal zijn naarmate beeldherkenningssystemen steeds meer geïntegreerd worden in de samenleving, producten en diensten. Ga dus samen met mensen uit je doelgroep expliciet opzoek naar de mogelijke gevolgen van je systeem voor hun.
De auteur wil graag het Amputee Care Center by Spronken en de deelnemers bedanken voor het nemen van de tijd en het leveren van de inspanning om deel te nemen aan dit onderzoek.
*Voor dit onderzoek werd gebruik gemaakt van het state-of-the-art beeldsegmentatiemodel Mask2Former.
