Samenvatting

Achtergrond

Het rapport is het resultaat van de werkzaamheden van het Ad Hoc Committee on Artificial Intelligence (CAHAI) van de Raad van Europa (RvE) met betrekking tot de mogelijke elementen van een rechtskader voor de ontwikkeling, het ontwerp en de toepassing van artificiële intelligentie. Als eerste stap heeft het CAHAI een haalbaarheidstudie gepubliceerd waarover vervolgens een publieke raadpleging met diverse belanghebbenden is gehouden. Rekening houdend met de resultaten van die raadpleging heeft het CAHAI dit verslag opgesteld.

Inhoud

De belangrijkste aanbeveling is dat de RvE een juridisch bindend verdrag zou moeten aannemen. Een dergelijk verdrag zou kunnen worden aangevuld met sectorale juridisch (niet) bindende instrumenten en richtsnoeren, en zou de toetreding van niet tot de RvE behorende staten moeten vergemakkelijken.

Het oogmerk en het doel van het verdrag moet zijn ervoor te zorgen dat bij de ontwikkeling, het ontwerp en de toepassing van AI-systemen de mensenrechten, de democratie en de rechtsstaat worden geëerbiedigd, ongeacht of deze activiteiten door private dan wel publieke actoren worden ondernomen. In dat verband wordt in het verslag uitdrukkelijk vermeld dat het verdrag minimumnormen moet nastreven, wat betekent dat het de lidstaten moet worden toegestaan aanvullende regels op te leggen (bv. in het kader van de EU-verordening inzake Artificiële Intelligentie).

Principes en risicoclassificatie

Meer concreet wordt in het verslag voorgesteld dat een dergelijk kader de volgende elementen moet bevatten:

• In het verdrag zouden bepaalde begrippen moeten worden opgenomen en gedefinieerd (b.v. AI-systeem, gebruiker, ...) maar interessant genoeg bevat het verslag zelf geen tekstuele suggesties.
• Het zou bepaalde fundamentele beginselen moeten bevatten die van toepassing zouden moeten zijn op zowel de publieke als de particuliere ontwikkeling, ontwerp en toepassing van AI-systemen en die draaien rond het begrip menselijke waardigheid. Deze beginselen kunnen zijn:
• • de vrijheid van ontwikkeling en ontwerp van, en onderzoek naar AI-systemen, met inachtneming van de normen van de Raad van Europa inzake mensenrechten. (Merk op dat "toepassing" niet wordt vermeld.)
  • een plicht om onwettige schade als gevolg van AI-gerelateerde activiteiten te voorkomen
  • een plicht om gelijke behandeling en non-discriminatie van personen te waarborgen in de context van AI-gerelateerde activiteiten, teneinde te voorkomen dat ongerechtvaardigde vooroordelen in AI-systemen worden ingebouwd en dat het gebruik van AI-systemen tot discriminerende effecten leidt
  • Een verplichting om te zorgen voor gendergelijkheid en dat de rechten van mensen in kwetsbare groepen en situaties, waaronder kinderen, gedurende de gehele levenscyclus van AI-systemen worden geëerbiedigd

• Het verdrag kan zowel rechtstreekse positieve rechten van personen bevatten als verplichtingen voor staten om bepaalde regels in hun interne rechtsorde in te voeren.
• De kern van het kader moet worden gevormd door een methode voor risicoclassificatie van AI-systemen, met de nadruk op mensenrechten, democratie en de rechtsstaat. Er wordt een tweestappenbenadering voorgesteld waarbij een eerste risicobeoordeling wordt gebruikt om te bepalen of een volledige HUDERIA (Human Rights, Democracy and Rule of Law Impact Assessment) vereist is.
• • De concrete vereisten voor de initiële risicobeoordeling zijn niet geheel duidelijk. Op basis van het verslag lijkt het erop dat bij een dergelijke evaluatie rekening moet worden gehouden met bepaalde criteria (bv. context en doel van het AI-systeem, mate van autonomie van het AI-systeem, onderliggende technologie van het AI-systeem,... ) en dat moet kunnen worden bepaald of een AI-systeem een "laag risico", een "hoog risico" of een "onaanvaardbaar risico" inhoudt
  • De concrete eisen of het model voor een HUDERIA zijn explicieter:
    • een HUDERIA moet alleen worden uitgevoerd indien "er duidelijke en objectieve aanwijzingen zijn voor relevante risico's die voortvloeien uit de toepassing van een AI-systeem". (Merk op dat alleen toepassing wordt vermeld, niet ontwikkeling of ontwerp)
    • een HUDERIA moet uit vier fasen bestaan: (i) risico-identificatie, (ii) effectbeoordeling (waarvoor de bovengenoemde criteria moeten worden gebruikt, zie par. 51-52 van het verslag voor de volledige lijst), iii) beoordeling van het bestuur en iv) beperking en evaluatie.
    • De betrokkenheid van belanghebbenden moet tijdens de gehele effectbeoordeling worden gewaarborgd.
    • Het uitvoeren van een HUDERIA moet een iteratief proces zijn en moet op regelmatige basis gebeuren. Het gebruik van een AI-systeem in een andere context of voor een ander doel, alsmede ingrijpende wijzigingen in het systeem kunnen specifieke redenen zijn om een nieuwe HUDERIA uit te voeren.
    • Interessant is dat CAHAI voorstelt dat deze eisen of dit model niet juridisch bindend zijn. Dit kan de lidstaten in staat stellen het te wijzigen of aan te passen aan hun specifieke situatie.
    • Ook wordt benadrukt dat een HUDERIA niet op zichzelf mag staan, maar moet worden aangevuld met andere nalevingsmechanismen, zoals certificering en kwaliteitslabeling, audits, AI-testomgevingen voor regelgeving en regelmatig toezicht.

• Wat de verboden toepassingen van AI betreft, is men van mening dat er een mogelijkheid moet zijn om een volledig of gedeeltelijk moratorium of verbod op te leggen aan de toepassing van AI-systemen die een onaanvaardbaar risico inhouden op belemmering van het genot van de mensenrechten, de werking van de democratie en de eerbiediging van de rechtsstaat. Hoe deze begrippen in de praktijk moeten worden geïnterpreteerd, blijft op dit moment onduidelijk. Een dergelijk moratorium of verbod zou ook moeten worden overwogen voor het onderzoek naar en de ontwikkeling van onaanvaardbare AI-systemen
• • Met name beschouwt de CAHAI AI-systemen die biometrie gebruiken om kenmerken of emoties van personen te identificeren, categoriseren of af te leiden, met name indien zij tot massasurveillance leiden, en AI-systemen die voor sociale scoring worden gebruikt om de toegang tot essentiële diensten te bepalen, als toepassingen die in dit verband bijzondere aandacht kunnen vergen.
  • Er moeten toetsingsprocedures komen om een verbod of moratorium te kunnen intrekken als de risico's voldoende zijn verminderd of als er op objectieve gronden passende risicobeperkende maatregelen genomen werden waardoor er niet langer een onaanvaardbaar risico aanwezig is.

Algemene en specifieke regels

In verband met deze risicoclassificatie wordt in het verslag voorgesteld om zowel algemene minimumvoorschriften voor alle AI-systemen af te kondigen alsook specifieke voorschriften voor AI-systemen met een hoger risico.

Algemene regels kunnen verplichtingen bevatten omtrent:

• Databeheer, robuustheid, veiligheid en cyberbeveiliging, duurzaamheid, controleerbaarheid, transparantie, verklaarbaarheid en verantwoordingsplicht. De laatste drie begrippen worden geacht van "het allergrootste belang" te zijn.
• Menselijk toezicht op AI-systemen en hun output gedurende hun hele levenscyclus
• De oprichting van AI-testomgevingen voor regelgeving door de lidstaten.
  
• Op feiten gebaseerde publieke beraadslagingen over en inclusieve betrokkenheid bij dit onderwerp, mogelijk gemaakt door de lidstaten.
• Maatregelen om de digitale geletterdheid en digitale vaardigheden van het grote publiek en de ambtenaren te vergroten.

Specifieke regels kunnen worden toegepast met betrekking tot:

• Het gebruik van AI om zich op onrechtmatige wijze of ten onrechte te mengen in democratische processen. Verkiezingsmanipulatie, zoals micro-targeting, profilering en manipulatie van inhoud (met inbegrip van zogenoemde "deep fakes"), zou in sectorale instrumenten kunnen worden behandeld.
• Het gebruik van AI voor het nemen of informeren van besluiten die gevolgen hebben voor de wettelijke rechten en andere significante belangen van natuurlijke personen en rechtspersonen. In dit verband moeten de volgende waarborgen worden ingebouwd:
• • het recht op een doeltreffend rechtsmiddel voor een nationale instantie (waaronder rechterlijke instanties) tegen dergelijke besluiten
  • het recht om te worden geïnformeerd over de toepassing van een AI-systeem in het besluitvormingsproces;
  • het recht te weten dat men communiceert met een AI-systeem in plaats van met een mens;
  • het recht om te kiezen voor interactie met een mens, naast of in plaats van een AI-systeem;
  • De wijze van uitoefening van deze rechten moet in de nationale wetgeving worden geregeld. Legitieme uitzonderingen op deze rechten kunnen bij wet worden vastgesteld, indien zulks in een democratische samenleving noodzakelijk en evenredig is.

In het verslag staat voorts dat het verdrag ook een bepaling moet bevatten over de bescherming van klokkenluiders.

Handhaving

Met betrekking tot de handhaving is de CAHAI van mening dat het verdrag bepalingen moet bevatten die de partijen verplichten tot:

• alle nodige en passende maatregelen te nemen om ervoor te zorgen dat het instrument daadwerkelijk wordt nageleefd, met name door nalevingsmechanismen en -normen vast te stellen.
• nationale toezichthoudende autoriteiten op te richten of aan te wijzen, hun bevoegdheden, taken en functioneren vast te stellen en hun deskundigheid, onafhankelijkheid en onpartijdigheid bij de uitvoering van hun taken, alsmede de toewijzing van voldoende middelen en personeel te waarborgen.
• samen te werken en wederzijdse juridische en andere bijstand te verlenen, met inbegrip van de uitwisseling van data en andere vormen van informatie.
• een "comité van de partijen" op te richten ter ondersteuning van de uitvoering van het instrument.

Gebruik van AI door de publieke sector

Het verslag bevat ook specifieke delen over het gebruik van AI-systemen in de overheidssector. Ook hier richt het zich op AI-systemen met een impact op de mensenrechten, de democratie of de rechtsstaat. Meer specifiek beveelt het aan dat het beoogde verdrag zich zou richten op het gebruik van AI-systemen ten behoeve van de rechtshandhaving, rechtsbedeling en het openbaar bestuur. Wat dit laatste betreft, stelt het echter dat de bepalingen beperkt moeten blijven tot algemene voorschriften over het verantwoord gebruik van AI-systemen in het openbaar bestuur.

In de context van het gebruik van AI door de overheid moet het toekomstige kader ten minste in het volgende voorzien:

• toegang tot een een doeltreffend rechtsmiddel voor de getroffen actoren,
• een verplicht recht op menselijke toetsing van besluiten die door een AI-systeem zijn genomen of op basis van informatie zijn genomen, behalve wanneer legitieme en dwingende redenen hieraan in de weg staan,
• een verplichting voor overheidsinstanties om een adequate menselijke toetsing uit te voeren van processen die worden gestuurd of ondersteund door AI-systemen,
• een verplichting om natuurlijke personen of rechtspersonen zinvolle informatie te verstrekken over de rol van AI-systemen bij het nemen of onderbouwen van besluiten die op hen betrekking hebben, behalve wanneer legitieme en dwingende redenen een dergelijke toetsing of openbaarmaking uitsluiten of beperken,
• een verplichting voor de lidstaten om ervoor te zorgen dat hun nationale recht voorziet in passende en doeltreffende waarborgen tegen willekeurige praktijken en misbruiken als gevolg van de toepassing van een AI-systeem in de overheidssector,
• diverse bepalingen met specifieke eisen betreffende het ontwerpen, aanschaffen, ontwikkelen en invoeren van een AI-systeem door een overheidsinstantie (zie par. 58-61)

Tot slot wordt in het verslag voorgesteld om op sectoraal niveau aanvullende (niet) juridisch bindende instrumenten aan te nemen met het oog op de verduidelijking van thema's zoals transparantie, billijkheid, verantwoordelijkheid, verantwoordingsplicht, uitlegbaarheid en verhaalsmogelijkheden om een verantwoord gebruik van AI door de overheid te waarborgen.