Interview: KCDS- CiTiP Fellow Jan Kleijssen over het AI-verdrag van de Raad van Europa
03.05.2023
Jan Kleijssen was directeur voor de informatiemaatschappij en actie tegen misdaad bij de Raad van Europa onder het directoraat mensenrechten en rechtstaat. Momenteel is hij consultant en adviseur bij ALLAI en lesgever bij LUISS in Rome. Bij de Raad van Europa werkte hij onder andere aan het Verdrag rond Artificiële Intelligentie (AI) dat de Raad ontwikkelt. In dit interview vertelt hij meer over het opkomend Verdrag, over de Raad van Europa en over de impact van het Verdrag op Vlaamse stakeholders. Hij was een KCDS-CITIP Fellow in april en gaf in dat kader verschillende gastcolleges en lezingen in Leuven.
Kan u kort de achtergrond schetsen rond het Verdrag inzake AI die de Raad van Europa momenteel aan het ontwikkelen is zodat de lezers mee zijn? (met toevoegingen uit The Council of Europe’s road towards an AI Convention: taking stock - AI Summer School (kuleuven.be))
De Raad van Europa is een pan-Europese mensenrechtenorganisatie en groter dan de Europese Unie. Ze bestaat uit 46 lidstaten en is gevestigd in Straatsburg (Frankrijk). De Raad is actief op verschillende gebieden die een raakvlak vertonen met de mensenrechten, democratie en de rechtsstaat. Haar werkzaamheden gaan van de bestrijding van racisme en cybercriminaliteit tot de bevordering van gendergelijkheid, culturele diversiteit en de digitale transformatie.
Hoewel de werkzaamheden van de Europese Unie of internationale organisaties (zoals UNESCO of de OESO) de Raad van Europa soms lijken te overschaduwen op gebied van AI-governance, mag de rol van de Raad van Europe op het gebied van juridische standaardisering niet onderschat worden.
![](/uploads/cover-images/_slider/raad-van-europa.jpg)
Reeds sinds de jaren ‘80 staan nieuwe technologieën op de agenda van de Raad van Europa. Denk bijvoorbeeld aan het eerste verdrag inzake persoonsgegevens, dat de Raad ongeveer 40 jaar geleden in het leven heeft geroepen, Conventie 108, die kan worden beschouwd als de grootmoeder van de huidige GDPR. Of denk aan de Boedapest Conventie inzake Cybercrime van ongeveer 20 jaar geleden, die vandaag nog steeds het enige verdrag inzake cybercrime is en inmiddels 68 partijen telt (Nigeria en Brazilië zijn als laatste landen toegetreden). Toen het duidelijk werd dat de ontwikkeling en het gebruik van AI door overheden risico’s met zich meebrengen – naast de vele mogelijkheden – voor mensenrechten, democratie en de rechtsstaat, begon de Raad zich stilaan bezig te houden met AI-governance. De Toeslagenaffaire in Nederland is een perfect voorbeeld van wat kan mislopen wanneer overheden ondoordacht gebruik maken van AI-systemen. De Toeslagenaffaire verwijst naar het schandaal (tragedie) waarbij de Nederlandse belastingdienst een algoritmisch besluitvormingssysteem gebruikte om fraude op te sporen. Dit systeem bleek sterk vooringenomen en racistisch te zijn, waardoor tienduizenden ouders en verzorgers valselijk beschuldigd werden van fraude.
In september 2019 richtte de Raad van Europa het “Ad Hoc Committee on Artificial Intelligence” (CAHAI) op, een intergouvernementeel comité met een tweejarig mandaat van 2019-2021. De CAHAI was gemandateerd om de haalbaarheid (feasibility) te onderzoeken van een nieuw juridisch kader voor de ontwikkeling, het ontwerp en de toepassing van AI waarbij mensenrechten, democratie en de rechtsstaat als leidende normen gelden. In december 2021 besloot ze unaniem dat er een noodzaak bestond voor een bijkomend juridisch kader inzake AI-governance. In haar eindverslag legde de CAHAI een checklist van nuttige elementen vast die idealiter in een nieuw bindend instrument zouden opgenomen moeten worden.
In navolging van deze bevinding, richtte de Raad van Europa het “Committee on Artificial Intelligence” (CAI) op, diens mandaat van 1 januari 2022 tot en met 31 december 2024 loopt. Het mandaat van de CAI is uiterst ambitieus, gezien ze in haar tweejarig bestaan beoogt een transversaal juridisch bindend instrument op het gebied van AI uit te werken waarin mensenrechten, democratie en de rechtsstaat voorop staan. Begin 2023 leverde de CAI haar eerste ontwerpversie van een AI-Verdrag af, de zogenaamde “Zero Draft”. Het AI-Verdrag wil tegemoetkomen aan de potentiële risico’s waarmee overheden AI inzetten. Het bevat enkele algemene beginselen zoals gelijkheid, privacy, verantwoordingsplicht, transparantie, toezicht, veiligheid, gegevenskwaliteit en duurzaamheid die in alle fasen van de AI-systemen moeten gewaarborgd worden (bv. tijdens het ontwerp, de ontwikkeling en de toepassing). Ook introduceert het een mensenrechtelijke impactbeoordeling. Waar het voorstel voor een AI-Verordening (de “AI Act”) focust op de Europese interne markt en slechts voor 26 lidstaten zal gelden, betrekt het Verdrag inzake AI van de Raad van Europe daarentegen een veel groter aantal partijen en beoogt het daarmee een globale impact te bewerkstelligen.
Kan u de relatie tussen de AI-Verordening en het AI Verdrag verder toelichten? De Raad wil (met het AI Verdrag) AI reguleren vanuit het idee mensenrechten, democratie en de rechtsstaat te beschermen. Het mandaat van de Raad is bijgevolg duidelijk afgelijnd. De EU focust daarentegen op de problematiek omtrent AI uit het perspectief van marktregulering. Dit was dan ook de oorspronkelijke insteek voor de AI-Verordening. Hier werd later een laagje mensenrechten aan toegevoegd – zij het in beperkte mate en op een redelijk oppervlakkige manier.
Wat betreft het toepassingsgebied van het AI-Verdrag, zijn de primaire actoren in eerste instantie overheden. Het is mogelijk dat ook de privésector zal worden geviseerd. De AI-Verordening daarentegen focust op de regulering van de ontwikkeling, het ontwerp en het gebruik van AI door ondernemingen.
Dit wijst nogmaals op de toevoegde waarde van het Verdrag. Het beoogt mensenrechten, democratie en de rechtsstaat door overheden wereldwijd.
Zullen er mogelijke tegenstrijdigheden zijn tussen het Verdrag en de AI-Verordening?
Er zullen geen tegenstrijdigheden zijn. Beide organen zijn vertegenwoordigd bij elkaar. De Raad als zodanig zit niet formeel mee aan de onderhandelingstafel van de AI-Verordening, doch zijn alle lidstaten vertegenwoordigd.
Wie mag mee onderhandelen aan het AI-Verdrag? Recent ontstond er immers commotie rond het feit dat NGO’s zouden zijn uitgesloten van de onderhandelingstafel.
Dit is een misvatting en moet worden rechtgezet. De CAI heeft als taak om een ontwerpverdrag af te leveren. Dat ontwerpverdrag moet goedgekeurd worden door de plenaire kamer. Hierin zetelen als voorwaardig lid een aantal NGO’s, bedrijven en alle lidstaten. Het is incorrect om te zeggen dat NGO’s uitgesloten zijn van de besluitvoering.
Wat besloten is, is dat staten in een gesloten ontwerpruimte samenkomen om gevoelige informatie te delen die ze begrijpelijk niet willen delen met niet-staten. Eens de staten een ontwerp hebben, gaat deze versie naar de plenaire en kunnen NGO’s en bedrijven hun inbreng doen. Het enige wat is veranderd, is dat NGO’s en bedrijven niet voor alles aanwezig zijn. Het is een kwestie om landen constructief aan tafel te laten. De Zero Draft is gepubliceerd. Er zitten 53 landen aan tafel, waaronder 6 niet-lidstaten: Canada, VS, Mexico, Japan het Vaticaan en Israël.
Wordt nationale veiligheid besproken in het AI-Verdrag? Dit is belangrijk voor grote landen, zoals de VS, maar voor kleinere landen is dit minder van belang.
Het EVMR laat uitzonderingen toe op grond van nationale veiligheid (§2) indien het proportioneel is. De Raad is niet bevoegd voor national defence, gezien dit is uitgesloten in het Statuut van de Raad van Europa. Vragen omtrent Nationale veiligheid staan wel op de agenda – denk aan facial recognition.
Wat is de interactie tussen innovatie en AI-regulering in het AI-verdrag? Sommigen zijn van mening dat regulering innovatie in de weg kan staan.
Het is een misvatting dat regulering en innovatie tegenhangers zijn. Kijk naar de (farmaceutische) industrie. Tijdens de COVID-19 pandemie bleek dat het de meest innovatieve tak was, alsook de meest gereguleerde tak. Regulatie houdt innovatie niet tegen. Integendeel, goede regulering bevordert goede innovatie.
U zegt dat regulering innovatie niet tegenhoudt. In de UK heeft de overheid recent een beleidsnota gepubliceerd waarin men stelt dat men op dit moment geen bijkomende regulering voor AI zal aannemen, net om innovatie niet in de weg te staan. Men zal in de plaats daarvan met algemene principes voor regulatoren werken. Hoe ziet u die houding ten opzichte van de regels die de Raad van Europa aan het opstellen is in het verdrag?
Ik zou bijvoorbeeld verwijzen naar de haalbaarheidsstudie die CAHAI unaniem heeft aangenomen waarin wordt vastgesteld dat het huidige wettelijke kader voor AI-systemen niet voldoende is. Dat blijft met de bijkomende principes ook het geval. Het moment dat een aantal landen het Verdrag ondertekend hebben, ontstaat er een zekere vorm van momentum die het voordelig maakt voor andere landen (zoals de UK) om ook het Verdrag te ondertekenen voor internationale samenwerking op bepaalde gebieden. De UK produceert AI en wil waarschijnlijk dat andere overheden hun producten overnemen en gebruiken. Verder gebruiken ze mogelijks ook systemen uit andere landen die het Verdrag tekenen en werken ze op andere vlakken samen. Dat leidt er allemaal toe dat ze er baat bij hebben onder dezelfde regels te vallen en meer geneigd zullen zijn die bijkomende regels in te voeren.
Naast wettelijke regels zijn er ook technische normen en standaarden die AI-systemen verder zullen vormgeven en feitelijk kunnen reguleren. In de EU AI Act worden European Standard Setting Organisations genoemd die een reeks geharmoniseerde standaarden zullen aannemen, rekening houdend met Europese waarden en normen. Spelen technische standaarden ook een rol binnen het AI-verdrag van de Raad van Europa en hoe interageren ze met mensenrechten?
IEEE, een organisatie rond standaardsetting zit mee aan tafel tijdens de onderhandelingen van het verdrag. Er is binnen de discussies de vraag in welke mate standaarden kunnen worden meegenomen in de Human Rights Impact Assessment die het Verdrag vereist. Men heeft bijvoorbeeld gedacht algoritmes centraal te laten testen, gelijkaardig aan medicijnen. Hiervan heeft men echter gezegd dat dit niet mogelijk is aangezien het businessmodel van de bedrijven gebaseerd zou zijn op wat in de algoritmen zit. Dat is natuurlijk incorrect. In de Farmaceutische industrie heeft men bijvoorbeeld ook geheime recepten waarvan de toezichthoudende autoriteit weet wat er in het medicijn zit zonder dat dat voor problemen zorgt. Momenteel wordt er bij de onderhandelingen gesproken over nationale toezichthouders maar het is denkbaar dat er op Europees niveau een agentschap komt dat naar en in algoritmes kijkt om ze te evalueren en er toezicht op houdt, in zoverre mogelijk natuurlijk.
Hoe zit het met de regulering van AI in de rechtspraak? De European Commission for the efficiency of justice (CEPEJ) heeft een aantal jaar geleden een haalbaarheidsstudie uitgevoerd over certificatiemechanismen van AI-tools die worden gebruikt in de rechtspraak Is die studie nog lopende en wat is de status daarvan? Hoe kijkt de Raad van Europa naar het gebruik van zo'n mechanismen?
Deze studie hebben ze niet doorgezet. De reden was dat een aantal lidstaten niet overtuigd waren dat het een haalbare doelstelling was om dergelijk certificatiemechanisme voor AI-tools in de rechtspraak te gebruiken. Momenteel lopen er geen studies (over certificatiemechanismen of andere mechanismen) omtrent de inzet van AI in de rechtspraak. Wel heeft CEPEJ recent de Resource Centre on Cyberjustice and AI gelanceerd. Dit is een centraal punt voor betrouwbare informatie over AI-systemen die worden toegepast in de rechtspraak. Het geeft een overzicht van alle AI- en algoritmische systemen die in de 46 lidstaten worden ingezet in de rechtspraak of in de advocatuur.
![](/uploads/cover-images/OpenDay-JKleijssen_400px.jpg)
Zou de inzet van toezichthouders met een adviserende rol een meerwaarde bieden voor overheden?
Ik ben er zelf van overtuigd, afgezien van de nationale audits op AI-producten, dat er nood is aan een toezichthouder die de omgang en inzet van overheid AI-producten door de overheid monitort. Ik hoop dat NGO-deelnemers aan de vergadering, mijzelf met de nieuwe pet van NGO inbegrepen, zich ervoor inzetten dat er ook een toezichthouder komt op AI-gebied die parlementen en regeringen kan adviseren (zoals die ook bestaat in Nederland voor bijvoorbeeld de nationale veiligheidsdiensten) en die een schakel kan zijn tussen de burger en de overheid bij de toepassing van zo'n systemen.
Die communicatie met en naar de burger blijkt nu een probleem te zijn. Wij weten bijvoorbeeld niet welke AI-systemen binnen de overheid worden toegepast. Is het niet absurd dat er systemen worden ingezet door overheden en administraties waarvan de burger geen weet heeft? Is een nationaal algoritmeregister, zoals men dat na de toeslagenaffaire heeft opgericht in Nederland (op dit moment nog niet verplicht) dan de oplossing?
Het is inderdaad absurd dat burgers geen weet hebben van welke systemen worden ingezet door overheden en administraties. Uit de Nederlandse Toeslagenaffaire blijkt ook dat wanneer overheden AI-systemen toepassen, ze zelf niet noodzakelijk weten wat ze nu net gebruiken.
Ik denk dat dergelijk nationaal register zeker nut heeft. Hieruit kan men zelfs kijken of men dat verder uit wil bouwen naar een internationaal niveau en eventueel wil decentraliseren, zoals in de farmaceutische industrie. In ieder geval, op nationaal niveau is het in het belang van de burger dat er toezicht komt op het functioneren van de systemen en dat men dit niet enkel overlaat aan de mooie beloftes van de betrokken bedrijven. Men moet systemen kunnen toetsen en een mogelijkheid hebben voor de rechter te komen niet enkel wanneer het misgaat, maar ook op voorhand (ex ante).
We hebben het reeds kort gehad over de zichtbaarheid van het AI-Verdrag. Vlaamse bedrijven zijn misschien niet zozeer op de hoogte van het werk rond het nieuwe AI-Verdrag als van de toekomstige AI-Act door het Europees Parlement. Zoals u zei focust het Verdrag in eerste instantie op overheden, maar wat kunnen mogelijke gevolgen zijn van het AI-Verdrag voor bedrijven en hoe kunnen bedrijven zich voorbereiden?
Overheden hebben onder het EVRM reeds de plicht om mensenrechten te beschermen. Dat houdt ook in, en dat heeft het Hof voor de Rechten van de Mens reeds meermaals bevestigd, dat die overheden alles wat verdienstelijk is voor mensenrechten moeten ondernemen. Een overheid kan zich niet vrijspreken op basis van het feit dat een privébedrijf mensenrechten schendt, maar ze zelf geen fout begaat. De overheid heeft immers een positieve plicht om te zorgen dat andere actoren, waaronder privébedrijven, de mensenrechten niet schenden. Het AI-Verdrag zal principes bevatten die de nationale overheden bij het Verdrag zullen omzetten in wettelijke kaders (al dan niet met hulp via de AI Act voor de EU-landen) op nationaal niveau waarbinnen ook privé-actoren zich zullen moeten houden.
Overheden kunnen de ontwikkeling van het verdrag dus in de gaten houden om te kijken hoe ze hun wettelijk kader kunnen aanpassen en aanvullen om aan de principes in het Verdrag te voldoen. Voor bedrijven is het dan ook de boodschap om naar die kaders te kijken en zich eraan te houden. Ook om het vertrouwen van hun klanten te behouden.
Misschien dat we de lezers daar al een kleine voorzet bij kunnen geven. De CAI heeft recent een Zero Draft van het AI-Verdrag gepubliceerd. Wat zijn volgens u daarin de hoofdpunten en de hete hangijzers?
Dual-use van AI-systemen is en blijft één van de probleemcategorieën. "Facial recognition" is een gelopen wedstrijd, namelijk dat het niet als zodanig verboden zal worden. Wat ik wel hoop is dat er een tekst komt waarin gezichtsherkenning onderworpen wordt aan een lijst van voorwaarden zoals die bijvoorbeeld ook nodig zijn voor het plaatsen van telefoontaps - denk aan rechterlijk toezicht, controle, proportionaliteit en doelgebondenheid. Andere hete hangijzers zijn de redlines. Over sociale scoring door overheden is men het eens dat dit verboden kan worden. Of er andere gebieden zijn waarover men overeenstemming kan bereiken dat sociale scoring niet wenselijk is, dat moet nog blijken. Zelf zou ik persoonlijk ook limieten opleggen aan het gebruik van AI-systemen in de context van bijvoorbeeld familierecht.
Om verder in te gaan op persoonlijke meningen, hoe denkt u dat het reguleringsverhaal verder zal gaan. Als het AI-Verdrag onderhandeld en getekend is door de verschillende deelnemers, is er daarna nog nood aan bijkomende regulering rond AI of regulering rond andere technologieën?
Over het AI-verdrag: natuurlijk is het verhaal niet afgelopen na de ondertekening van het Verdrag. ‘The proof of the pudding is in the eating’ zoals men in het VK zegt. Men moet zorgen dat het Verdrag, eens onderhandeld, snel geratificeerd wordt en dat het ook effectief toegepast wordt. Voor het toepassen zal het comité van partijen een belangrijke rol kunnen spelen, zoals dat ook het geval was bij de Budapest Conventie waar men zeer inventief is geweest. Daar heeft men vroeg gerealiseerd dat de Conventie snel zou kunnen verouderen. Daarop heeft het comité besloten om geen wijzigingsprotocollen op te stellen voor die Conventie, aangezien die veel tijd zouden kosten en door parlementen moeten worden goedgekeurd. In de plaats daarvan besloot men te werken met een unaniem aangenomen guidance note die de Conventie herinterpreteerd. Zo hebben ze de Conventie kunnen updaten opdat bijvoorbeeld smartphones als computersystemen worden beschouwd.
Het is mogelijk dat men momenteel ergens iets is aan het ontwikkelen dat de Raad van Europa niet kan voorspellen, maar dat potentieel wel onder het AI-Verdrag zou moeten vallen. In dergelijke situatie zou men opnieuw kunnen werken met unanieme guidance notes om het AI-Verdrag up to date te kunnen houden. Men zou dat bijvoorbeeld kunnen doen als het nodig wordt om het Verdrag te laten toepassen op brain-computer interfaces of nieuwe ontwikkelingen in de metaverse.
Over andere technologieën: Persoonlijk denk ik bijvoorbeeld aan Metaverse. We moeten dat goed opvolgen, omdat georganiseerde misdaad er bijvoorbeeld niet van zou terugschrikken om van die opportuniteiten gebruik te maken voor fraude, misbruik, etc. Het is mogelijk dat we hiervoor nieuwe regelgeving nodig zullen hebben.
Nog een slotopmerking die onze lezers zeker moeten meenemen?
We doen er goed aan om te spreken over wat (AI) doet met ons als samenleving, niet enkel over wat AI doet met ons als individuen. Wat doet het gebruik van AI en automatisering met onze beleving van de samenleving en van de democratie? In welke mate zou het kunnen dat een AI-systeem bijvoorbeeld een CEO zou zijn of een politieke partij leidt, en hoe wenselijk is dat? Ik kom daarvoor graag terug op een citaat van Francis Bacon over geld, dat ook goed van toepassing is op AI-systemen: "het is een goede dienaar maar een slechte meester".
Auteur
![Auteur](/uploads/grid/_square/victoria-hendrickx.jpg)
Victoria Hendrickx
Doctoral researcher CiTip - KU Leuven
Biografie en foto credit Jan Kleijssen: https://www.coe.int/en/web/hum...