Rapport

Verlies kinderen niet uit het oog: vereisten voor een kindgericht AI-beleid

15.12.2020

Algoritmes oefenen ook op de levens van kinderen steeds meer invloed uit, met positieve maar ook negatieve gevolgen. Omdat kinderen bij het opstellen van regulering vaak over het hoofd worden gezien, heeft UNICEF een reeks richtlijnen opgesteld om overheden en bedrijven te helpen een AI-beleid te ontwikkelen dat rekening houdt met de noden van kinderen.

Wat maakt dit richtlijnen interessant?

Dit UNICEF-rapport is een waardevolle aanvulling op het debat rond human-centric AI. Het rapport focust specifiek op kinderen en is erg relevant aangezien er op dit moment wereldwijd intensief gewerkt wordt aan AI-beleid en regelgeving. Het rapport kan een debat aansnijden dat vooralsnog weinig werd gevoerd en zo een hulpmiddel zijn om de positie van kinderen ten opzichte van AI te versterken.

Kinderen komen reeds op verschillende manieren in aanraking met AI. Dit kan op een directe manier: er wordt AI gebruikt in bepaalde types speelgoed, in virtuele assistenten zoals Alexa of Siri, in videogames zoals Fortnite of bij chatbots. Algoritmes voorzien kinderen van aanbevelingen op websites en sociale mediaplatformen en hebben invloed op wat ze lezen, welke video’s ze te zien krijgen, naar welke muziek ze luisteren of zelfs met wie ze bevriend worden.

Misschien nog belangrijker is de indirecte manier waarop AI-systemen het leven van kinderen beïnvloedt, bijvoorbeeld door toepassingen van de overheid. Een illustratie hiervan in Vlaanderen is het digitaal aanmeldingssysteem om kinderen in te schrijven voor een school. Dit systeem is nog niet verplicht is, maar heel wat steden en gemeenten in Vlaanderen gebruiken het al. Voor het secundair onderwijs maakt het systeem gebruik van een algoritme en een aantal parameters om te bepalen in welke school een kind onderwijs kan volgen.

© UNICEF

Kinderen lopen dus steeds vaker in de voorhoede wat betreft AI, maar vaak zijn de toepassingen ervan niet ontworpen voor kinderen of niet op maat gemaakt. Dat zorgt er in bepaalde gevallen voor dat ze in een kwetsbare positie terechtkomen. Hoewel de aandacht groeit voor vraagstukken rond de impact, het beheer en de aansprakelijkheid omtrent AI en er in toenemende mate beleidsinitiatieven worden genomen, worden kinderen nog vaak over het hoofd gezien.

Om die reden heeft de kinderrechtenorganisatie UNICEF in samenwerking met de Finse overheid een reeks richtlijnen opgesteld, gebaseerd op de Conventie voor de Rechten van het Kind. De voorschriften bieden beleidsmakers, bedrijven en ontwikkelaars een handleiding met een aantal fundamentele regels om ervoor te zorgen dat ook kinderen centraal staan bij het opstellen van AI-beleid.

Wat zijn volgens UNICEF de vereisten voor een kindvriendelijk AI-beleid?

De handleiding van UNICEF bevat negen aanbevelingen. De aanbevelingen zijn van toepassing wanneer AI-systemen invloed hebben op kinderen, ongeacht of het systeem al dan niet bestemd is voor kinderen. We overlopen de aanbevelingen hieronder kort en geven via enkele case studies het belang aan van kindgericht AI-beleid.

1. Ondersteun de ontwikkeling en het welzijn van kinderen

AI-systemen moeten bijdragen aan de ontwikkeling van het kind tot volwassene en het welzijn van het kind. Om dat te realiseren moet onder andere:

  • AI-beleid en -strategieën uitgewerkt worden met een gedegen kennis van de effecten van AI op kinderen.
  • AI-technologie gecreëerd en ontworpen worden vanuit een privacy-by-design, safety-by-design en inclusion-by design-perspectief
Case study – AI en groeianalyse

Het softwareprogramma Growth Analyser zorgde recent in Nederland voor heel wat controverse. Het programma werd door kinderartsen gebruikt als instrument om lengtegroei en gewichtstoename te volgen en te beoordelen. Wanneer een kind 'buiten de curve' valt, kan dat voor artsen een signaal zijn om verder te kijken naar wat er precies aan de hand is (bijvoorbeeld ziekte of kindermishandeling). De software zou echter verschillende anomalieën bevatten waardoor die onbetrouwbaar is voor kinderen onder een bepaalde leeftijd, of met een specifieke gezondheidsgeschiedenis. Dit kwam aan het licht toen de kinderbeschermingsinstantie een kind op basis van foutieve informatie weghaalde bij de ouders. Dit geval heeft artsen ertoe aangezet om het gebruik van de software af te raden zolang de juiste disclaimer ontbreekt of geen grote aanpassingen gebeuren.

2. Zorg voor inclusie van en voor kinderen

Werk met principes die ervoor zorgen dat je bij het ontwikkelen van AI-systemen rekening houdt met het grootst aantal gebruikers. Als een kind mogelijk direct met een AI-systeem of -product in contact kan komen, zorg er dan voor dat het ermee overweg kan, ongeacht hun leeftijd, gender, capaciteiten of andere kenmerken. Actieve deelname van kinderen in het ontwerp, de ontwikkeling en de uitwerking van AI-systemen kan helpen om deze doelstelling te realiseren.

3. Geef prioriteit aan eerlijkheid en non-discriminatie van kinderen

AI-systemen mogen niet leiden tot discriminatie van kinderen - op welke basis dan ook. De bevordering van gelijke kansen en rechtvaardigheid moeten de basis vormen voor het beleid, de ontwikkeling en de beoogde voordelen van AI-systemen. Dat kan doorkinderen die bedreigd worden met uitsluiting, actief te ondersteunen, of in datasets met voldoende aandacht te besteden aan diversiteit en een mogelijk bias te elimineren.

Case study: algoritmes en schoolverlaters

Verschillende Nederlandse gemeenten hanteren algoritmes om mogelijke vroegtijdige schoolverlaters te detecteren. Gemeenten zijn meestal transparant over de variabelen die ze gebruiken om tot resultaten te komen, gaan daarbij ethisch verantwoord te werk en beschermen de privacy. Een duidelijk afsprakenkader over wat ethisch is, of wat kan en niet kan met algoritmes en AI, is er echter niet. Een gemeente zou bijvoorbeeld dus ook een variabele zoals etniciteit kunnen gebruiken in zijn algoritme, wat problematisch is.Onderzoek van de Nederlandse Openbare Omroep NOS toont aan dat het gebruik van algoritmes zonder duidelijke richtlijnen kan leiden tot problemen op vlak van transparantie en discriminatie.

4. Bescherm de data en privacy van kinderen

AI-beleid en -systemen moeten voldoende waarde hechten aan de kwetsbaarheid van de data van kinderen en hun privacy beschermen en versterken. Data van kinderen omvat de inhoud die zij creëren, gegevens die over hen verzameld worden en wat er door middel van algoritmes wordt afgeleid. Bovendien is extra aandacht voor kinderen in kwetsbare situaties* en voor bijzonder gevoelige gegevens zoals etnische afkomst of biometrische gegevens noodzakelijk.

*Kinderen in kwetsbare situaties worden in de samenleving vaak geconfronteerd met hogere niveaus van gegevensverzameling, bijvoorbeeld omdat ze in een buurt leven die onder verhoogd toezicht staat. Meer informatie hierover vind je in het boek ‘Automating inequality’ van Virginia Eubanks

5. Waarborg de veiligheid van kinderen

De veiligheid van kinderen binnen AI-systemen moet worden gewaarborgd, zowel op de korte als op de lange termijn. Kinderen verschillen biologisch en psychologisch van volwassenen en ervaren de impact van AI-systemen dus anders. Verder kunnen kinderen gebruik maken van digitale diensten en apps op onverwachte manieren, hebben ze verschillende perspectieven op privacy en veiligheid en ontwikkelen ze vaak creatieve manieren om met digitale wereld om te gaan. Die eigenschappen van kinderen moeten in elke context waarin de technologie wordt gebruikt, voldoende worden overwogen. Een continue monitoring van AI-systemen, zowel in het ontwikkelingsproces als in de gebruikscontext, is een voorbeeld van een maatregel die hierbij aansluit.

6. Zorg voor transparantie, verklaarbaarheid en verantwoording voor kinderen

Het doel en de potentiële impact van AI-systemen moeten begrijpelijk zijn voor kinderen en hun ouders, om hen zo een weloverwogen beslissingen te kunnen laten maken om al dan niet gebruik te maken van de toepassingen. Het is echter niet voldoende om louter de taal te vereenvoudigen die wordt gebruikt om uit te leggen hoe en waarom een systeem een bepaalde beslissing neemt. Transparantie over de achterliggende doelen en motivaties van het systeem kunnen ouders ook helpen bij de beslissing hun kinderen al dan niet toestemming te geven het systeem te gebruiken.

7. Versterk de kennis over AI en kinderrechten bij overheden en bedrijven

Om kindgerichte AI te ontwikkelen en te waarborgen, is kennis over hoe kinderen en AI-systemen elkaar kruisen noodzakelijk. Maar kennis alleen is onvoldoende. Overheden en bedrijven moeten ook de voordelen van kindgerichte AI inzien. Om dit te bereiken kunnen mechanismen ingezet worden in bedrijven en het beleid die ervoor zorgen dat kindgerichte AI voorrang krijgt op economische incentives.

Case study: Eksote – Finland

In oktober 2019 presenteerde de Japanse IT-dienstverlener en multinational Fujitsu een AI-toepassing die ontwikkeld werd voor de lokale overheidsdienst sociale zorg en gezondheidszorg van de regio Eksote in Finland. Het AI Nuora-systeem maakt gebruik van machine learning-modellen om factoren die uitsluiting van jongeren veroorzaken, te identificeren en te analyseren. De lokale overheid maakt hierbij enkel gebruik van niet-identificeerbare en gepseudonimiseerde gegevens. Dankzij het model is doelgerichte interventie mogelijk en dalen de kosten voor onder andere de gezondheidszorg. Het Nuora-systeem is een goed voorbeeld van hoe overheid en de bedrijfswereld kunnen samenwerken op vlak van kindgerichte AI.

8. Bereid kinderen voor op hedendaagse en toekomstige ontwikkelingen in AI

Door AI-gerelateerde vaardigheden op te nemen in het onderwijsleerplan kunnen kinderen al op jonge leeftijd AI-systemen en -apparaten begrijpen. Verder zal dit helpen om hen voor te bereiden als toekomstige gebruikers en potentiële ontwikkelaars van AI. Om dit mogelijk te maken, moeten de onderwijsprogramma’s worden aangepast, moeten leerkrachten de nodige skills verwerven, moet er bekeken worden of AI al een plaats kan krijgen in het onderwijs en moet er meer samenwerking komen tussen de bedrijfswereld en de onderwijssector.

9. Creëer een omgeving die kindgerichte AI mogelijk maakt

AI-gerelateerd beleid, strategieën en systemen bestaan binnen een breed ecosysteem. Het is onvoldoende enkel te focussen op beleid en praktijk alleen, ook de context moet kindgerichte AI stimuleren. Dat kan een plan omvatten voor digitale inclusie, of investeringen in digitale infrastructuur inhouden. Ook kan onderzoek naar de effecten van AI-systemen op kinderen meer ondersteuning krijgen, en ingezet worden op een multi-stakeholderbenadering van digitale samenwerking (bijvoorbeeld door open source software, open data, en open standaarden te stimuleren).

In september publiceerde UNICEF een eerste draft van dit rapport, aansluitend startte een publieke consultatie waarvoor stakeholders die actief zijn in AI en/of kinderrechten uitgenodigd werden om feedback te geven op het rapport.

Het Kenniscentrum Data en Maatschappij is ingegaan op deze uitnodiging en formuleerde een aantal opmerkingen bij het rapport.

Je kan het UNICEF-rapport en de feedback van het Kenniscentrum Data & Maatschappij hieronder raadplegen.

Wat nu?

Bij UNICEF wordt momenteel alle input verwerkt. Een finale versie van het rapport wordt in 2021 gepubliceerd. Verder hebben een aantal partners zoals de regeringen van Rwanda en Malta, lokale Zweedse overheden, het modebedrijf H&M en het Britse AI-onderzoekscentrum The Alan Turing Institute pilootprojecten opgestart om zo feedback uit het praktijkveld te verzamelen. Het Kenniscentrum Data & Maatschappij blijft de ontwikkelingen rond dit rapport op de voet volgen.