Ethisch principe 1: menselijke controle en menselijk toezicht
Met de praktische gids 'Ethische principes en (niet-)bestaande juridische regels voor AI' wil het Kenniscentrum Data en Maatschappij nagaan in welke mate de vragen in de ALTAI Beoordelingslijst al een vertaling vinden in het bestaande wetgevende kader en of er bepaalde relevante regels zijn die aansluiten bij de ethische vereisten.
Dit hoofdstuk behandelt het eerste ethisch principe: Menselijke controle en menselijk toezicht (Human agency and oversight).
Betekenis principe
Met de eerste ethische vereiste, menselijke controle en menselijk toezicht, wordt gedoeld op het feit dat AI-systemen de menselijke autonomie en het menselijk beslissingsproces moeten ondersteunen, zoals volgt uit het beginsel van respect voor de menselijke autonomie. Daarvoor is het nodig dat AI-systemen zowel een democratische en gelijkwaardige samenleving mogelijk maken door de gebruikersautonomie te garanderen, als fundamentele rechten respecteren, wat dient te worden afgedwongen door middel van menselijk toezicht.
Onder deze vereiste worden AI-systemen beoordeeld op basis van twee sub-componenten, namelijk de mate waarin zij
Menselijke autonomie behandelt het effect dat AI-systemen kunnen hebben op menselijk gedrag in de breedste zin van het woord. Het omvat de effecten van AI-systemen die gericht zijn op het sturen, beïnvloeden of ondersteunen van personen in hun besluitvormingsprocessen zoals algoritmische beslissingsondersteunende systemen, risicoanalyse/voorspellingssystemen (bv. recommender systems, predictive policing, financial risk analysis). Het omvat ook het effect op de menselijke perceptie en de verwachtingen wanneer men geconfronteerd wordt met AI-systemen die 'handelen' zoals mensen. Tot slot behandelt dit deelvereiste het effect van AI-systemen op menselijke affectie, vertrouwen en (on)afhankelijkheid.
De vereiste van menselijk toezicht helpt om zelf de vereiste toezichtsmechanismen te beoordelen. Dergelijk toezicht kan worden verwezenlijkt via beheersmechanismen, zoals een benadering met human-in-the-loop (HITL), human-on-the-loop (HOTL) of human-in-command (HIC).
- HITL verwijst naar de mogelijkheid tot menselijke interventie in elke besluitcyclus van het systeem.
- HOTL verwijst naar de mogelijkheid tot menselijke interventie gedurende de ontwerpcyclus van het systeem en het monitoren van de werking van het systeem.
- HIC verwijst naar de mogelijkheid om de algemene werking van het AI-systeem te overzien (inclusief de ruimere economische, maatschappelijke, juridische en ethische impact) en de mogelijkheid om te kiezen wanneer en hoe het systeem in een specifieke situatie wordt gebruikt. Daarbij kan het bijvoorbeeld gaan om de keuze om een AI-systeem in een bepaalde situatie niet te gebruiken, om een bepaald niveau van menselijke beoordelingsvrijheid te garanderen tijdens het gebruik van het systeem of om te garanderen dat een door het AI-systeem genomen beslissing kan worden herroepen.
Hou hierbij rekening met het feit dat, afhankelijk van het toepassingsgebied van het AI-systeem en het potentiële risico, er meer of minder verregaande toezichtmechanismen nodig kunnen zijn om andere veiligheids- en controlemaatregelen te ondersteunen. Indien alle andere omstandigheden gelijk blijven, moet een AI-systeem uitgebreider worden getest en kunnen er best strengere beheers-mechanismen worden geïmplementeerd naarmate er minder menselijk toezicht op het systeem mogelijk is.
Rechtstregels
Binnen dit principe behandelen we twee sub-componenten:
Menselijke autonomie
![]() | ALTAI vragen:
|
Rechtsregels van toepassing:
- Gegevensbescherming
Onder art. 13 en 14 van de Algemene Verordening Gegevensbescherming (AVG) moeten verwerkingsverantwoordelijken bepaalde informatie meedelen aan de personen van wie zij de persoonsgegevens verwerken. Indien er sprake is van geautomatiseerde besluitvorming of profilering moet het bestaan daarvan worden erkend en moet er nuttige informatie verstrekt worden over de onderliggende logica, alsmede het belang en de verwachte gevolgen van die verwerking voor de betrokkene.
Het spiegelbeeld hiervan is art. 22 AVG dat verwerkingsverantwoordelijken verplicht om betrokkenen ten minste volgende rechten te verlenen: het recht op menselijke tussenkomst van de verwerkingsverantwoordelijke, het recht om zijn standpunt kenbaar te maken en het recht om het besluit aan te vechten. Om betrokkenen werkelijk en voldoende in staat te stellen om dergelijke automatische beslissing aan te vechten, kan het vereist zijn dat zij geïnformeerd worden over het feit dat de beslissing gegeneerd werd door een AI-systeem en/of dat zij interageerden met dergelijk systeem.
Meer informatie kan hierover worden gevonden in het deel over Ethisch Vereiste 4: Transparantie.
- Consumentenrecht
Ook in het consumentrecht bestaan er informatieverplichtingen die er nu reeds kunnen toe leiden dat de verkopers van AI-systemen de eindgebruikers moeten informeren omtrent het feit dat een beslissing of uitkomst het resultaat is van een algoritmische beslissing of dat zij interageren met een AI-systeem.
Zo moet onder de algemene informatieverplichting in artikel VI.2 Wetboek Economisch Recht (WER) de consument geïnformeerd worden omtrent de voornaamste kenmerken van de producten, desgevallend, de functionaliteit van digitale inhoud (met inbegrip van toepasselijke technische beveiligingsvoorzieningen) en de relevante interoperabiliteit van digitale inhoud met hardware en software en andere diensten waarvan de onderneming op de hoogte is of redelijkerwijs kan worden verondersteld op de hoogte te zijn. Gelijkaardige bepalingen breiden dit ook uit naar diensten (artikels VI.45 en VI.64 WER) en financiële diensten (artikel VI. 55 WER).
- Algemeen verbintenissenrecht
Indien een eindgebruiker of consument niet afdoende werd geïnformeerd omtrent het feit dat een beslissing of uitkomst het resultaat is van een algoritmische beslissing of dat zij interageren met een AI-systeem én het AI-systeem wordt gebruikt in een situatie waarbij er een contract wordt gesloten, kan het zijn dat dit leidt tot dwaling in hoofde van de gebruiker of consument (art. 1110 BW).
Dwaling is een wilsgebrek waardoor er, in principe, geen geldige overeenkomst wordt gevormd. In essentie komt dwaling erop neer dat een contractpartij er een verkeerde voorstelling van de werkelijkheid heeft op nagehouden op het ogenblik van de contractsluiting. Verder moet het ook gaan om een ‘substantiële dwaling’, wat wil zeggen dat het contract zonder die dwaling niet zou zijn gesloten. Eenvoudige illustratie: stel dat iemand een kunstwerk bestelt bij een online dienst die kunstwerken aanbiedt van een bekende kunstenaar (bv. Rinus Van De Velde), waarbij in praktijk deze kunstwerken gegenereerd worden door een AI-systeem. Indien de koper erop vertrouwt dat deze kunstwerken gemaakt worden door de kunstenaar zelf en daarom een schilderij bestelt, zal die zich op dwaling kunnen beroepen indien die er later op uitkomt dat zijn/haar schilderij blijkt door een AI-systeem te zijn gemaakt.
Dergelijke dwaling moet wel ‘verschoonbaar’ zijn. Deze vereiste houdt in dat een redelijk persoon in gelijkaardige omstandigheden ook zou hebben gedwaald. Toegepast op bovenstaande illustratie, betekent dit dat de koper niet zou hebben kunnen opmaken uit de door de dienstverlener verschafte informatie, noch op basis van eventueel eigen onderzoek, dat de kunstwerken AI-creaties waren en geen authentieke creaties.
![]() | ALTAI vragen:
|
- Consumentenrecht
In deze context kan er op worden gewezen dat het consumentenrecht zogenaamde oneerlijke misleidende praktijken verbiedt (art. VI.97-100 WER). Een handelspraktijk wordt als misleidend beschouwd als die op onwaarheden berust of, zelfs als de informatie feitelijk correct is, de gemiddelde consument op enigerlei wijze, inclusief door de algemene presentatie, bedriegt of kan bedriegen met betrekking tot bepaalde elementen en de gemiddelde consument er zowel in het ene als in het andere geval toe brengt of kan brengen een besluit over een transactie te nemen dat hij anders niet had genomen. De elementen waaromtrent bedrieglijke informatie kan worden verschaft, zijn o.a.:
- het bestaan of de aard van het product;
- de voornaamste kenmerken van het product (incl. risico's, samenstelling, geschiktheid voor het gebruik, gebruiksmogelijkheden,…)
Verder kan er ook sprake zijn van misleidende omissies. Dit is het geval indien er – samengevat - essentiële informatie welke de gemiddelde consument, naargelang de context, nodig heeft om een geïnformeerd besluit over een transactie te nemen, weg wordt gelaten en die de gemiddelde consument er toe brengt of kan brengen een besluit over een transactie te nemen dat hij anders niet had genomen. Hier is eveneens sprake van indien de essentiële informatie op onduidelijke, onbegrijpelijke of dubbelzinnige wijze dan wel laattijdig werd verstrekt, of het commerciële oogmerk, indien dit niet reeds duidelijk uit de context blijkt, niet werd duidelijk gemaakt, en de gemiddelde consument er zowel in het ene als in het andere geval toe wordt of kan worden gebracht een besluit over een transactie te nemen dat hij anders niet had genomen
Indien een AI-systeem (bv. chatbot) dus zou worden gebruikt om producten of diensten te verkopen, moet er op worden gewaakt dat het systeem geen bedrieglijke informatie zou (beginnen te) gebruiken, maar een consument steeds de juiste informatie verschaft of er, minstens, naar verwijst. Zo niet, zou het besluitvormingsproces van een eindgebruiker op onbedoelde of ongewenste manier kunnen worden verstoord.
- Algemeen verbintenissenrecht
Hoewel het wat verder gezocht is, zullen organisaties die een AI-systeem gebruiken in de loop van een contractsluiting, er ook voor moeten zorgen dat het AI-systeem geen ‘geweld’ of ‘dwang’ veroorzaakt (art. 1111-1115 BW). Dwang is, net zoals dwaling, een wilsgebrek en staat in de weg van een geldige contractsluiting. Dit komt in praktijk eerder uitzonderlijk voor.
Meer bepaald bestaat dwang uit het uitoefenen van een fysieke of morele dwang, minstens uit de dreiging ermee, ten aanzien van de persoon van de medecontractant, zijn eer of zijn vermogen.
Er moet dus over gewaakt worden dat een AI-systeem dat bepaalde producten verkoopt niet doorslaat en ter vervulling van diens functie ongeoorloofde dwang zou (beginnen) uitoefenen op potentiële kopers. Hier kan bijvoorbeeld sprake van zijn indien het systeem zou dreigen de digitale toestellen van de koper of diens dierbaren te hacken. Zodoende wordt vermeden dat het besluitvormingsproces van een eindgebruiker op een onbedoelde of ongewenste manier zou worden verstoord.
- Strafrecht
In deze context kan ook worden gedacht aan het risico dat een AI-systeem zich zou bezondigen aan of aangewend zou worden in het kader van mogelijke strafbare misdrijven als informaticabedrog, afpersing, oplichting en bedriegerij of misbruik van vertrouwen. Deze komen verder aan bod bij de bespreking van de Ethisch Vereiste 2: Technische robuustheid en veiligheid.
![]() | ALTAI vragen: Simuleert het AI-systeem sociale interactie met of tussen eindgebruikers of subjecten? Dreigt het AI-systeem te leiden tot menselijke aanhankelijkheid, het stimuleren van verslavend gedrag of het manipuleren van gebruikersgedrag? Afhankelijk van welke risico's mogelijk of waarschijnlijk zijn, kunt u de onderstaande vragen beantwoorden:
|
- Consumentrecht
Wat betreft het risico op buitensporige aanhankelijkheid en manipulatie, kan men deze vraag in zekere vorm terugvinden in de bepalingen omtrent de misleidende en agressieve handelspraktijken.
Zo bepaalt artikel VI.100 WER dat het een misleidende handelspraktijk is om te beweren dat producten het winnen bij kansspelen vergemakkelijken of in de context van een handelspraktijk te beweren dat er een wedstrijd wordt georganiseerd of prijzen worden uitgeloofd zonder de aangekondigde prijzen of een redelijk alternatief daadwerkelijk toe te kennen. Een AI-systeem dat producten of diensten verkoopt mag dus geen dergelijke beweringen stellen en het moet vermeden worden dat het systeem ter vervulling van diens functie dergelijke bewerkingen zou beginnen te stellen.
Verder bepaalt artikel VI.103 WER dat het een agressieve handelspraktijk is om als onderneming hardnekkig en ongewenst aan te dringen bij een consument per telefoon, fax, e-mail of andere afstandsmedia. Ook dit kan een risico tot manipulatie omvatten en het dient daarom te worden vermeden dat AI-systemen dergelijke handelingen zouden stellen.
- Algemeen verbintenissenrecht
Ook onder het algemeen verbintenissenrecht wordt manipulatie, in de vorm van bedrog, niet aanvaard. Bedrog is een derde wilsgebrek en staat in de weg van een geldige contractsluiting (art. 1116 BW).
Om van bedrog te spreken, moet een partij ter kwader trouw kunstgrepen aanwenden om bewust de andere partij te doen dwalen zodat zij een overeenkomst zou sluiten. Er moet dus opzettelijk een dwaling worden uitgelokt zonder welke het contract niet zou zijn gesloten. Met andere woorden, de kunstgrepen moeten doorslaggevend voor het sluiten van de overeenkomst zijn geweest. Dergelijke kunstgrepen kunnen zowel positieve handelingen (bv. liegen) zijn, het verschaffen van onjuiste/onvolledige informatie of het bedrieglijk stilzwijgen of verzwijgen van informatie.
- Gokwetgeving
In deze context kan ook gedacht worden aan de inzetbeperking die de Belgische gokwetgeving in bepaalde situaties oplegt, waardoor het inzetverlies wordt beperkt maar die ook het risico op verslaving tracht te beperken. Mochten er dus kansspelen worden aangeboden die gebruik maken van AI, moet er eveneens gezorgd voor worden dat zij de eventueel toepasselijke inzetbeperkingen respecteren.
Menselijk handelen
![]() | ALTAI-vragen: Bepaal of het AI-systeem (kies er zoveel als nodig is):
Kregen gebruikers (HITL, HOTL, HIC) specifieke training over hoe ze de controle of toezicht kunnen uitoefenen? |
- Arbeidsrecht
In deze context kan er in de eerste plaats gedacht worden aan werkgevers die AI-systemen gebruiken in hun productieprocessen of dienstverlening. Zij dienen immers enerzijds de arbeidsveiligheid van hun werknemers te verzekeren, en anderzijds hen in de mogelijkheid te stellen om hun beroep uit te oefenen, o.a. door middel van instructies. Het is dus van belang dat zij werknemers de juiste training geven mochten zij in contact komen met AI-systemen.
Meer bepaald legt artikel 4 van de Welzijnswet op dat het welzijn van de werknemers moet worden bevorderd door middel van maatregelen op het vlak van o.a. arbeidsveiligheid en de psychosociale aspecten van het werk. Artikels 5 en 6 concretiseren dit verder.
Zo somt artikel 5 enkele preventiebeginselen op die een werkgever dient toe te passen. Deze omvatten o.a. risico’s voorkomen, de risico’s op ernstig letsel inperken door het nemen van materiële maatregelen, de werknemer voorlichten over de aard van zijn werkzaamheden, de daaraan verboden risico’s en bijhorende maatregelen; en het verschaffen van passende instructies aan de werknemers en het vaststellen van begeleidingsmaatregelen voor een redelijke garantie op de naleving van deze instructies.
Vice versa bepaalt artikel 6 dat iedere werknemer op de arbeidsplaats, overeenkomstig zijn opleiding en de door de werkgever gegeven instructies, naar zijn beste vermogen zorg moet dragen voor zijn eigen veiligheid en gezondheid en deze van de andere betrokken personen.
Meer informatie kan ook worden gevonden bij de bespreking van de Ethisch Vereiste 6: Maatschappelijk en milieuwelzijn.
- Algemene en specifieke productveiligheidsregels
In deze context kan men ook denken aan de verplichting voor producenten tot het verschaffen van instructies of informatie in het kader van de productveiligheid. Zo bepaalt art. IX.8 WER dat producenten aan gebruikers informatie moeten verschaffen omtrent de aan een product inherente risico's gedurende de normale of redelijkerwijs te verwachten gebruiksduur, indien deze risico's zonder passende waarschuwing niet onmiddellijk herkenbaar zijn.
De verplichting tot het geven van informatie en instructies wordt ook behandeld in meer sectorale wetgeving. Onder de speelgoedwetgeving bijvoorbeeld wordt vereist dat fabrikanten het door hun gemaakte speelgoed vergezellen van instructies en informatie aangaande de veiligheid. Informatieplichten bestaan ook voor medische hulpmiddelen.
Rekening houdende met het zelflerende karakter van AI-producten, lijkt dergelijke bepaling mogelijk een hernieuwde relevantie te krijgen. Meer informatie kan hierover worden gevonden in het deel over Ethisch Vereiste 4: Transparantie.
![]() | ALTAI vragen:
|
- Gegevensbescherming
De AVG verplicht de verwerkingsverantwoordelijke om in bepaalde gevallen een gegevensbeschermingseffectbeoordeling (GEB) te doen. Een GEB moet op voorhand uitgevoerd worden bij elke verwerking waarbij vermoedelijk een hoog risico bestaat voor de betrokkenen en is een concrete verplichting om vooraf na te denken over de risico’s die het verwerken van persoonsgegevens kan hebben voor de rechten en vrijheden van natuurlijke personen (art. 35).
Voor een uitvoerige bespreking verwijzen we naar Ethisch Vereiste 3: Privacy en databeheer.
- Arbeidsveiligheid
Ook in deze context kan er op worden gewezen dat een werkgever het welzijn van werknemers moet bevorderen door middel van maatregelen op het vlak van o.a. arbeidsveiligheid en de psychosociale aspecten van het werk. Een werkgever moet immers bepaalde preventiebeginselen toepassen. Werkgevers die AI-systemen gebruiken in hun productieprocessen of dienstverlening kunnen dus dergelijke waarschuwings- en reactiemethodologieën, stopknop-procedures of controlemaatregelen opstellen om te voldoen aan deze verplichting.
Meer informatie kan ook worden gevonden bij de bespreking van de Ethisch Vereiste 6: Maatschappelijk en milieuwelzijn.
- Veiligheidsnormen
Er zijn verschillende veiligheidsnormen die reeds nu al bepaalde risicobeoordelingen opleggen, vereisen dat producten aan bepaalde minimale gezondheids- en veiligheidseisen voldoen en daarom relevant kunnen zijn in deze context.
Zo is er de Machinerichtlijn die werd omgezet door het koninklijk besluit van 12 augustus 2008. Het toepassingsgebied van de Machinerichtlijn is zeer specifiek (art. 1). Deze bepaalt dat de fabrikant van een machine een risicobeoordeling moet uitvoeren om na te gaan welke veiligheids- en gezondheidseisen op die machine van toepassing zijn. Bij het ontwerp en de bouw van de machine moet vervolgens rekening worden gehouden met de resultaten van deze risicobeoordeling. Dit heeft ook betrekking op de besturingssystemen (bv. AI-software) van machines die o.a. zodanig moeten worden ontwikkeld dat fouten in de besturingslogica niet tot een gevaarlijke situatie kunnen leiden. Daarenboven bepaalt de machinerichtlijn ook dat een machine in bepaalde gevallen voorzien moet zijn van één of meer noodstopinrichtingen waarmee reële of dreigende gevaarlijke situaties kunnen worden afgewend.
Ook de Europese Laagspanningsrichtlijn die werd omgezet door het koninklijk besluit van 21 april 2016 legt aan fabrikanten van elektrisch materiaal op dat zij technische documentatie moeten opstellen, waaronder een risicoanalyse en-beoordeling. Deze beoordeling moet rekening houden met de algemene vereiste dat elektrisch materiaal slechts op de markt van de EU kan worden aangeboden indien het bij correcte installatie en onderhoud en bij gebruik overeenkomstig de bestemming, de gezondheid en veiligheid van mensen en huisdieren of goederen niet in gevaar brengt. Zo dient dergelijk elektrisch materiaal o.a. erop voorzien te zijn dat er bescherming is tegen gevaren die kunnen ontstaan door invloeden van buitenaf.
Andere specifieke veiligheidsregels die in deze context relevant kunnen zijn, zijn bv. de regels van toepassing op speelgoed.
Algemener zijn er dan ook nog de productveiligheidsregels die zijn opgenomen in Boek IX WER. Zo legt art. IX.8 WER op dat producenten (eventueel ondersteund door distributeurs) maatregelen moeten nemen om op de hoogte te kunnen blijven van de risico's van hun producten en/of diensten en de passende acties te kunnen ondernemen om deze risico's te voorkomen. Tot deze maatregelen behoren o.a. de vermelding, op het product of op de verpakking ervan, van de identiteit en de contactinformatie van de producent om klachten mogelijk te maken of het uitvoeren van steekproeven op de in de handel gebrachte producten.
Aandachtspunten
Verduidelijking (toepasbaarheid) concepten
De huidige regelgeving is niet voorzien op systemen die kunnen ‘leren’ of door de ontwerper/gebruiker onvoorziene handelingen kunnen stellen. Doorgaans wordt er immers van uitgegaan dat de onderneming of natuurlijk persoon die bepaalde hulpmiddelen hanteert daar de controle, en dus eindverantwoordelijkheid, over heeft. Werkelijk autonome AI-systemen botsen met deze stilzwijgende veronderstelling.
Het lijkt daarom van belang dat beleidsmakers duidelijkheid scheppen over de mate waarin ontwerpers en gebruikers van AI-systemen maatregelen moeten treffen of procedures voorzien met het oog op het vermijden van ongewenste gevolgen als gevolg van het zelflerende/autonome karakter van AI-systemen.
Anderzijds hebben deze vragen ook betrekking op juridisch minder aflijnbare onderwerpen als ‘afhankelijkheid’ en ‘aanhankelijkheid’ die nog geen weerklank vinden in het huidige recht. Vraag is hier of, en in welke mate, de (Europese of Belgische) wetgever kan of moet optreden om dergelijke concepten in wettelijke vereisten om te zetten en dit niet alleen voor AI-systemen, maar ook voor andere producten.
Veiligheidstandaarden
Het is aangeraden om veiligheidsstandaarden met betrekking tot AI-producten te (blijven) ontwikkelen en verfijnen die rekening houden met zelflerende karakter van dergelijke producten.