Wat is de interactie tussen innovatie en AI-regulering in het AI-verdrag? Sommigen zijn van mening dat regulering innovatie in de weg kan staan.

Het is een misvatting dat regulering en innovatie tegenhangers zijn. Kijk naar de (farmaceutische) industrie. Tijdens de COVID-19 pandemie bleek dat het de meest innovatieve tak was, alsook de meest gereguleerde tak. Regulatie houdt innovatie niet tegen. Integendeel, goede regulering bevordert goede innovatie.

U zegt dat regulering innovatie niet tegenhoudt. In de UK heeft de overheid recent een beleidsnota gepubliceerd waarin men stelt dat men op dit moment geen bijkomende regulering voor AI zal aannemen, net om innovatie niet in de weg te staan. Men zal in de plaats daarvan met algemene principes voor regulatoren werken. Hoe ziet u die houding ten opzichte van de regels die de Raad van Europa aan het opstellen is in het verdrag?

Ik zou bijvoorbeeld verwijzen naar de haalbaarheidsstudie die CAHAI unaniem heeft aangenomen waarin wordt vastgesteld dat het huidige wettelijke kader voor AI-systemen niet voldoende is. Dat blijft met de bijkomende principes ook het geval. Het moment dat een aantal landen het Verdrag ondertekend hebben, ontstaat er een zekere vorm van momentum die het voordelig maakt voor andere landen (zoals de UK) om ook het Verdrag te ondertekenen voor internationale samenwerking op bepaalde gebieden. De UK produceert AI en wil waarschijnlijk dat andere overheden hun producten overnemen en gebruiken. Verder gebruiken ze mogelijks ook systemen uit andere landen die het Verdrag tekenen en werken ze op andere vlakken samen. Dat leidt er allemaal toe dat ze er baat bij hebben onder dezelfde regels te vallen en meer geneigd zullen zijn die bijkomende regels in te voeren.

Naast wettelijke regels zijn er ook technische normen en standaarden die AI-systemen verder zullen vormgeven en feitelijk kunnen reguleren. In de EU AI Act worden European Standard Setting Organisations genoemd die een reeks geharmoniseerde standaarden zullen aannemen, rekening houdend met Europese waarden en normen. Spelen technische standaarden ook een rol binnen het AI-verdrag van de Raad van Europa en hoe interageren ze met mensenrechten?

IEEE, een organisatie rond standaardsetting zit mee aan tafel tijdens de onderhandelingen van het verdrag. Er is binnen de discussies de vraag in welke mate standaarden kunnen worden meegenomen in de Human Rights Impact Assessment die het Verdrag vereist. Men heeft bijvoorbeeld gedacht algoritmes centraal te laten testen, gelijkaardig aan medicijnen. Hiervan heeft men echter gezegd dat dit niet mogelijk is aangezien het businessmodel van de bedrijven gebaseerd zou zijn op wat in de algoritmen zit. Dat is natuurlijk incorrect. In de Farmaceutische industrie heeft men bijvoorbeeld ook geheime recepten waarvan de toezichthoudende autoriteit weet wat er in het medicijn zit zonder dat dat voor problemen zorgt. Momenteel wordt er bij de onderhandelingen gesproken over nationale toezichthouders maar het is denkbaar dat er op Europees niveau een agentschap komt dat naar en in algoritmes kijkt om ze te evalueren en er toezicht op houdt, in zoverre mogelijk natuurlijk.

Hoe zit het met de regulering van AI in de rechtspraak? De European Commission for the efficiency of justice (CEPEJ) heeft een aantal jaar geleden een haalbaarheidsstudie uitgevoerd over certificatiemechanismen van AI-tools die worden gebruikt in de rechtspraak Is die studie nog lopende en wat is de status daarvan? Hoe kijkt de Raad van Europa naar het gebruik van zo'n mechanismen?

Deze studie hebben ze niet doorgezet. De reden was dat een aantal lidstaten niet overtuigd waren dat het een haalbare doelstelling was om dergelijk certificatiemechanisme voor AI-tools in de rechtspraak te gebruiken. Momenteel lopen er geen studies (over certificatiemechanismen of andere mechanismen) omtrent de inzet van AI in de rechtspraak. Wel heeft CEPEJ recent de Resource Centre on Cyberjustice and AI gelanceerd. Dit is een centraal punt voor betrouwbare informatie over AI-systemen die worden toegepast in de rechtspraak. Het geeft een overzicht van alle AI- en algoritmische systemen die in de 46 lidstaten worden ingezet in de rechtspraak of in de advocatuur.

Zou de inzet van toezichthouders met een adviserende rol een meerwaarde bieden voor overheden?

Ik ben er zelf van overtuigd, afgezien van de nationale audits op AI-producten, dat er nood is aan een toezichthouder die de omgang en inzet van overheid AI-producten door de overheid monitort. Ik hoop dat NGO-deelnemers aan de vergadering, mijzelf met de nieuwe pet van NGO inbegrepen, zich ervoor inzetten dat er ook een toezichthouder komt op AI-gebied die parlementen en regeringen kan adviseren (zoals die ook bestaat in Nederland voor bijvoorbeeld de nationale veiligheidsdiensten) en die een schakel kan zijn tussen de burger en de overheid bij de toepassing van zo'n systemen.

Die communicatie met en naar de burger blijkt nu een probleem te zijn. Wij weten bijvoorbeeld niet welke AI-systemen binnen de overheid worden toegepast. Is het niet absurd dat er systemen worden ingezet door overheden en administraties waarvan de burger geen weet heeft? Is een nationaal algoritmeregister, zoals men dat na de toeslagenaffaire heeft opgericht in Nederland (op dit moment nog niet verplicht) dan de oplossing?

Het is inderdaad absurd dat burgers geen weet hebben van welke systemen worden ingezet door overheden en administraties. Uit de Nederlandse Toeslagenaffaire blijkt ook dat wanneer overheden AI-systemen toepassen, ze zelf niet noodzakelijk weten wat ze nu net gebruiken.

Ik denk dat dergelijk nationaal register zeker nut heeft. Hieruit kan men zelfs kijken of men dat verder uit wil bouwen naar een internationaal niveau en eventueel wil decentraliseren, zoals in de farmaceutische industrie. In ieder geval, op nationaal niveau is het in het belang van de burger dat er toezicht komt op het functioneren van de systemen en dat men dit niet enkel overlaat aan de mooie beloftes van de betrokken bedrijven. Men moet systemen kunnen toetsen en een mogelijkheid hebben voor de rechter te komen niet enkel wanneer het misgaat, maar ook op voorhand (ex ante).

We hebben het reeds kort gehad over de zichtbaarheid van het AI-Verdrag. Vlaamse bedrijven zijn misschien niet zozeer op de hoogte van het werk rond het nieuwe AI-Verdrag als van de toekomstige AI-Act door het Europees Parlement. Zoals u zei focust het Verdrag in eerste instantie op overheden, maar wat kunnen mogelijke gevolgen zijn van het AI-Verdrag voor bedrijven en hoe kunnen bedrijven zich voorbereiden?

Overheden hebben onder het EVRM reeds de plicht om mensenrechten te beschermen. Dat houdt ook in, en dat heeft het Hof voor de Rechten van de Mens reeds meermaals bevestigd, dat die overheden alles wat verdienstelijk is voor mensenrechten moeten ondernemen. Een overheid kan zich niet vrijspreken op basis van het feit dat een privébedrijf mensenrechten schendt, maar ze zelf geen fout begaat. De overheid heeft immers een positieve plicht om te zorgen dat andere actoren, waaronder privébedrijven, de mensenrechten niet schenden. Het AI-Verdrag zal principes bevatten die de nationale overheden bij het Verdrag zullen omzetten in wettelijke kaders (al dan niet met hulp via de AI Act voor de EU-landen) op nationaal niveau waarbinnen ook privé-actoren zich zullen moeten houden.

Overheden kunnen de ontwikkeling van het verdrag dus in de gaten houden om te kijken hoe ze hun wettelijk kader kunnen aanpassen en aanvullen om aan de principes in het Verdrag te voldoen. Voor bedrijven is het dan ook de boodschap om naar die kaders te kijken en zich eraan te houden. Ook om het vertrouwen van hun klanten te behouden.

Misschien dat we de lezers daar al een kleine voorzet bij kunnen geven. De CAI heeft recent een Zero Draft van het AI-Verdrag gepubliceerd. Wat zijn volgens u daarin de hoofdpunten en de hete hangijzers?

Dual-use van AI-systemen is en blijft één van de probleemcategorieën. "Facial recognition" is een gelopen wedstrijd, namelijk dat het niet als zodanig verboden zal worden. Wat ik wel hoop is dat er een tekst komt waarin gezichtsherkenning onderworpen wordt aan een lijst van voorwaarden zoals die bijvoorbeeld ook nodig zijn voor het plaatsen van telefoontaps - denk aan rechterlijk toezicht, controle, proportionaliteit en doelgebondenheid. Andere hete hangijzers zijn de redlines. Over sociale scoring door overheden is men het eens dat dit verboden kan worden. Of er andere gebieden zijn waarover men overeenstemming kan bereiken dat sociale scoring niet wenselijk is, dat moet nog blijken. Zelf zou ik persoonlijk ook limieten opleggen aan het gebruik van AI-systemen in de context van bijvoorbeeld familierecht.

Om verder in te gaan op persoonlijke meningen, hoe denkt u dat het reguleringsverhaal verder zal gaan. Als het AI-Verdrag onderhandeld en getekend is door de verschillende deelnemers, is er daarna nog nood aan bijkomende regulering rond AI of regulering rond andere technologieën?

Over het AI-verdrag: natuurlijk is het verhaal niet afgelopen na de ondertekening van het Verdrag. ‘The proof of the pudding is in the eating’ zoals men in het VK zegt. Men moet zorgen dat het Verdrag, eens onderhandeld, snel geratificeerd wordt en dat het ook effectief toegepast wordt. Voor het toepassen zal het comité van partijen een belangrijke rol kunnen spelen, zoals dat ook het geval was bij de Budapest Conventie waar men zeer inventief is geweest. Daar heeft men vroeg gerealiseerd dat de Conventie snel zou kunnen verouderen. Daarop heeft het comité besloten om geen wijzigingsprotocollen op te stellen voor die Conventie, aangezien die veel tijd zouden kosten en door parlementen moeten worden goedgekeurd. In de plaats daarvan besloot men te werken met een unaniem aangenomen guidance note die de Conventie herinterpreteerd. Zo hebben ze de Conventie kunnen updaten opdat bijvoorbeeld smartphones als computersystemen worden beschouwd.

Het is mogelijk dat men momenteel ergens iets is aan het ontwikkelen dat de Raad van Europa niet kan voorspellen, maar dat potentieel wel onder het AI-Verdrag zou moeten vallen. In dergelijke situatie zou men opnieuw kunnen werken met unanieme guidance notes om het AI-Verdrag up to date te kunnen houden. Men zou dat bijvoorbeeld kunnen doen als het nodig wordt om het Verdrag te laten toepassen op brain-computer interfaces of nieuwe ontwikkelingen in de metaverse.

Over andere technologieën: Persoonlijk denk ik bijvoorbeeld aan Metaverse. We moeten dat goed opvolgen, omdat georganiseerde misdaad er bijvoorbeeld niet van zou terugschrikken om van die opportuniteiten gebruik te maken voor fraude, misbruik, etc. Het is mogelijk dat we hiervoor nieuwe regelgeving nodig zullen hebben.