Zes opmerkelijke passages uit de ontwerprichtsnoeren van de Europese Commissie voor de classificatie van AI-systemen met een hoog risico

De Europese AI Act ordent AI-systemen volgens hun risico om schade toe te brengen aan de gezondheid, de veiligheid en/of de grondrechten. Soms is dat risico eerder beperkt of minimaal, soms ontoelaatbaar hoog. Hiertussen zitten de AI-systemen met een hoog risico, waarvoor aanbieders en gebruikers bijzondere maatregelen horen te nemen zoals het opzetten van systemen voor risicobeheer, waarborgen van datakwaliteit en -representativiteit, traceerbaarheid, transparantie en menselijk toezicht.

AI-systemen hebben zo’n hoog risico als ze vallen onder de categorieën uit Annex I en III van de AI Act, namelijk, enerzijds, AI-systemen die (veiligheidscomponenten zijn van) producten (zijn) die een derde‑partij conformiteitsbeoordeling moeten ondergaan en, anderzijds, AI-systemen die voor welbepaalde doeleinden (zoals evaluatie of profilering) in bepaalde hoogrisicocontexten worden gebruikt (zoals kritieke infrastructuur, tewerkstelling of onderwijs).  

Enkele weken geleden publiceerde de Europese Commissie een ontwerpversie van richtsnoeren om deze categorieën verder uit te klaren. Hiervoor kunnen belanghebbenden tot 23 juli 2026 hun opmerkingen aan de Commissie bezorgen via de lopende consultatie. In deze blog doen wij alvast een bloemlezing van enkele opmerkelijke passages uit de richtsnoeren

Een risicocategorie inschatten gebeurt op basis van het beoogd gebruik van een AI-systeem: wat is de bedoeling van de aanbieder met het AI-systeem? Sommige AI-systemen hebben een erg specifiek doel, anderen kunnen zeer breed inzetbaar zijn in allerlei contexten en voor allerlei functies. Volgens §12 van de Richtsnoeren moet de aanbieder van zo’n breed inzetbaar AI-systeem op consistente wijze alle hoogrisico-gebruik uitsluiten. Zo niet, dan zal het systeem geacht worden ook hoogrisico-toepassingen te omvatten en bijgevolg ook onder het hoogrisico-regime vallen.      

Dit is een opmerkelijke passage omdat de AI Act een eerder regelluw regime instelt voor AI-systemen voor algemene doeleinden (GPAI) met vooral transparantie- en risicobeperkingsverplichtigen (hoofdstuk V AI Act). Dit hoofdstuk werd toegevoegd doorheen de parlementaire discussies over de AI Act. Er was namelijk nog niet veel sprake van generatieve AI gebaseerd op grote taalmodellen (LLM) toen de Europese Commissie haar eerste voorstel deed. De wereld was nog zo’n anderhalf jaar verwijderd van Chat GPT. Deze passage suggereert dat sommige GPAI-systemen als hoogrisico kunnen worden gekwalificeerd indien hun beoogd gebruik niet duidelijk wordt beperkt en ook hoogrisico-toepassingen omvat of mogelijk maakt.

De AI Act definieert een ‘veiligheidscomponent’ als een onderdeel van een product of AI-systeem dat een veiligheidsfunctie voorziet of waarvan het niet werken de gezondheid en veiligheid van personen of eigendommen schaadt (art. 3, 14). Deze definitie wordt verhelderd in de Richtsnoeren, maar laat nog over enkele componenten onzekerheid bestaan. 

Vooreerst zegt het begrip “veiligheidscomponent” niets over het beschermen van het AI-systeem, maar over onderdelen die als doel hebben schade door het AI-systeem te verhinderen. Cybersecurity-componenten zijn dan alleen relevant indien hun niet-functioneren leidt tot problemen voor de veiligheid van mensen. Voor veiligheidscomponenten van kritieke infrastructuren wordt dit zelfs expliciet genoemd en voorzien de Richtsnoeren in voorbeelden ter duiding. Deze voorbeelden gaan van real-time detectie van cyberaanvallen tot systemen die ongeoorloofde toegang ontdekken. 

In theorie lijkt dit onderscheid misschien duidelijk, maar in de praktijk is het moeilijk om situaties in te denken waar een gebrek aan cyberveiligheid niet leidt tot schade aan mensen of personen. Immers: indien een beslissing kan leiden tot schade, maakt het dan uit of de schade gebeurt door een systeemfout die uit een gebrekkig ontwerp komt, dan wel uit een gebrekkig ontwerp dat door een aanvaller is gecreëerd? Men zou in theorie een onderscheid kunnen maken tussen systemen die “puur” voor cybersecurity worden aangewend en niet voor de veiligheid van mensen, maar in de praktijk is dit een dunne lijn die de huidige Richtsnoeren niet ophelderen op een manier die het voor operatoren mogelijk maken om te beslissen welke features nu een veiligheidscomponent zijn en welke niet. In het bijzonder wordt één principe niet voldoende in de verf gezet: aangezien Overweging 55 alleen geldt voor AI-systemen in Bijlage III, wil dat zeggen dat de term “veiligheidscomponent” een andere betekenis heeft in functie van het AI-systeem waarin het geïntegreerd wordt, of niet? 

Het regime voor veiligheidscomponenten boet overigens aan populariteit in, gezien het plan in de Digital Omnibus om machines te onderwerpen aan een louter sectoraal regime, en het plan bij de hervorming van de Medical Device Regulation om hetzelfde te doen. Door producten uit afdeling A van Bijlage I weg te nemen en aan louter sectorale bepalingen te onderwerpen, maakt het finaal niet uit of een product AI-veiligheidscomponenten heeft of niet. 

Aangaande veiligheidscomponenten in kritieke infrastructuur in het bijzonder merken wij op dat een AI-systeem volgens de Ontwerprichtsnoeren een veiligheidscomponent is indien het gebruikt wordt door een kritieke entiteit in de zin van de Directive Critical Entities Resilience. Wil dit echter zeggen dat een AI-systeem maar een veiligheidscomponent is indien een kritieke entiteit het gebruikt, of ook indien het component bedoeld is om door hen gebruikt te worden? Dit onderscheid is belangrijk, aangezien de intentie waarvoor iets op de markt gebracht wordt bepaalt aan welk risico-regime het onderworpen is. In die zin voorzien de ontwerprichtsnoeren onnodige ambiguïteit.  

De ontwerprichtsnoeren voorzien behulpzame, praktische voorbeelden. Deze helpen ondernemingen om abstracte begrippen beter te begrijpen en maken het regelgevend kader tastbaarder. Toch moeten deze voorbeelden met de nodige voorzichtigheid worden benaderd. Ze zijn illustratief en vervangen geen eigen analyse. Voor elk AI-systeem moet afzonderlijk worden nagegaan of het als hoogrisico kwalificeert. Een toepassing die technisch sterk lijkt op een voorbeeld uit de Richtsnoeren, kan immers een ander beoogd doel hebben of in een andere context worden ingezet. Dat verschil kan bepalend zijn voor de kwalificatie.

Voorzichtigheid is des te meer geboden omdat sommige voorbeelden vragen oproepen. Zo wordt het onderscheid tussen biometrische identificatie en verificatie niet altijd scherp toegepast. In bepaalde voorbeelden worden biometrische gegevens vergeleken met een referentiedatabank, terwijl de toepassing toch als biometrische verificatie wordt aangemerkt (§§138 en 144). Een vergelijkbaar aandachtspunt rijst bij het voorbeeld over plagiaatdetectie. Een AI-systeem dat plagiaatcontrole uitvoert, valt volgens de richtsnoeren buiten de categorie van systemen die verboden gedrag tijdens toetsen monitoren en detecteren (§235). Daaruit volgt echter niet automatisch dat het systeem geen hoog risico AI-systeem is. Afhankelijk van het beoogde gebruik, kan het AI-systeem alsnog worden beschouwd als een systeem dat leerresultaten evalueert. Het blijft daarom steeds belangrijk en essentieel om voor elk AI-systeem afzonderlijk na te gaan welke functie het vervult, in welke context het wordt gebruikt en welke bepaling van de AI Act mogelijk van toepassing zijn.

Ook het domein 'onderwijs en beroepsopleiding' wordt gevat door Annex III van de AI Act. Zo is het niet ondenkbaar dat AI-systemen die onjuist zijn ontworpen en / of onjuist worden gebruikt een negatieve impact kunnen hebben op het onderwijs- en beroepsverloop van iemands leven en bijgevolg daarmee ook op het vermogen van die persoon om in zijn of haar levensonderhoud te voorzien. Niet alle in deze context aangeboden of gebruikte AI-systemen kwalificeren als hoogrisico; Annex III in punt 3 bepaalt limitatief in welke gevallen dit wel zo is, namelijk AI-systemen die:

1. toegang of toelating tot het onderwijs bepalen, 
2. leerresultaten evalueren, 
3. een passend onderwijsniveau bepalen en 
4. ongeoorloofd gedrag tijdens toetsen monitoren en detecteren.

Onderwijs en beroepsopleiding krijgen een ruime invulling, zowel voorschools, basis-, secundair als tertiair onderwijs, evenals beroepsonderwijs en -opleiding en volwassenenonderwijs in zowel private als particuliere instellingen vallen hieronder.

De Richtsnoeren maken in het kader van Annex III, 3, b) ‘AI-systemen die bedoeld zijn om leerresultaten te beoordelen’ een onderscheid tussen 'summatieve' en 'formatieve' evaluatie. Dit onderscheid is niet zonder gevolgen: enkel AI-systemen uit de eerste categorie zouden onder hoog risico vallen met de daarbij horende vereisten.

Met summatieve evaluatie bedoelt de Europese Commissie de beoordeling van een student, die effectief leidt tot een cijfer, evaluatie of kwalificatie. Formatieve evaluatie omvat daarentegen het doorlopend proces van het beoordelen van het leren en de voortgang van de student, en heeft als doel de prestaties te verbeteren, in plaats van dat het direct leidt tot een eindcijfer, beoordeling of kwalificatie. Voorbeelden van een formatieve evaluatie zijn het ontvangen van ondersteuning bij het leerproces door middel van activiteiten zoals oefeningen, het ontvangen van feedback en andere soorten begeleiding om vooruitgang te boeken.

Het onderscheid is theoretisch overtuigend, maar het valt niet uit te sluiten dat ook formatieve evaluatievormen indirect een invloed uitoefenen op de uiteindelijke leerresultaten. Indien AI-systemen in deze context niet als hoogrisico worden aangemerkt, vallen zij buiten de vereisten die de AI Act oplegt aan hoogrisico AI-systemen, zoals verplichtingen inzake data en datagovernance, menselijk toezicht en nauwkeurigheid, robuustheid en cyberbeveiliging. Het belang van kwalificatie wordt aangetoond door de aangereikte voorbeelden uit de Richtsnoeren die niet vallen onder summatieve evaluatievormen: een AI-gestuurde tool voor uitspraakfeedback en een AI-tool die feedback geeft bij de leesvaardigheden van de gebruikers. Deze AI-toepassingen zullen onvermijdelijk bijdragen tot een bepaalde evaluatie in een latere fase. Het is daarom verdedigbaar te stellen dat ook in deze context aan de kwaliteitsvereisten voor hoogrisico-AI-systemen dient te worden voldaan.

AI-systemen zijn van een hoog risico indien ze voor rechtshandhaving gebruikt worden 

1.  om te beoordelen of een persoon slachtoffer wordt van strafbare feiten, 
2.  als leugendetector,
3.  om de betrouwbaarheid van bewijsmateriaal te beoordelen
4. om te beoordelen of iemand dader van strafbare feiten is, of nieuwe feiten zal plegen of
5.  het profileren van natuurlijke personen.

De Richtsnoeren verduidelijken dat het begrip ‘rechtshandhaving’ functioneel wordt geïnterpreteerd, namelijk als het voorkomen, onderzoeken, detecteren of vervolgen van criminele feiten. Rechtshandhaving is een takenpakket eerder dan een classificatie van een dienst; niet de actor maar de use case bepaalt de classificatie. 

Klassieke diensten voor rechtshandhaving zoals politie voeren naast rechtshandhaving ook andere taken uit, zoals administratieve taken. Deze vallen niet onder deze categorie van hoogrisico-gebruik. Daarnaast kunnen administratieve organen aan rechtshandhaving doen. Denk bijvoorbeeld aan inspectoraten zoals de sociale inspectie, veiligheidsdiensten zoals Securail of de mogelijkheden van lokale besturen om Gemeentelijke Administratieve Sancties (GAS) uit te schrijven. Aangezien deze instellingen voor sommige activiteiten onder de functionele definitie van rechtshandhaving kunnen vallen, zullen AI-systemen die door hun gebruik worden voor (a)-(e) wellicht ook gezien worden als hoogrisico.

Tenslotte bevatten de richtsnoeren verduidelijkingen inzake puntje 8 b) van bijlage III bij de AI-Verordening. Volgens deze bepaling worden AI-systemen als hoogrisico gekwalificeerd wanneer ze  bedoeld zijn om de uitslag van een verkiezing of referendum, of het stemgedrag van natuurlijke personen bij de uitoefening van hun stemrecht tijdens verkiezingen of referenda, te beïnvloeden. 

Er wordt een brede interpretatie gegeven aan de begrippen in deze bepaling. Zo zijn alle AI-systemen met als bedoeling beïnvloeding onder het toepassingsgebied, ongeacht of de capaciteit om stemgedrag te beïnvloeden is aangetoond of niet. Het begrip “beïnvloeding” slaat zowel op collectieve invloed (beïnvloeding van de massa) als op individuele invloed. Het begrip “stemgedrag” slaat ook op brede democratische participatie en niet alleen op het stemhokje. 

De richtsnoeren geven bovendien voorbeelden van AI-systemen die op grond van deze bepaling als hoog risico worden aangemerkt. Een voorbeeld is een chatbot die politiek advies geeft of die een bepaalde kandidaat ondersteunt. Ook een AI-systeem dat de targeting en plaatsing van politieke advertenties optimaliseert, met inbegrip van gespecialiseerde aanbevelingssystemen, wordt als voorbeeld meegegeven. Omdat dergelijke systemen doorgaans profilering toepassen, kunnen ze bovendien geen beroep doen op de uitzondering van artikel 6, lid 3 AI Verordening. Opvallend is dat hier de Commissie het standpunt inneemt dat zo’n systeem by design bedoeld is om verkiezingen te beïnvloeden door in te spelen op politieke opvattingen van potentiële kiezers.

Het laatstgenoemde voorbeeld in samenlezing met paragraaf 437 geeft een meer enge benadering van de use case. Het AI-systeem moet namelijk specifically intended zijn om verkiezingen te beïnvloeden. Volgens de Commissie vallen algemene aanbevelingssystemen die naast andere content ook politieke content tonen en zo de facto politieke opvattingen kunnen beïnvloeden buiten de hoogrisicocategorie. Ten eerste strookt deze benadering niet met het brede toepassingsgebied van hoogrisico-AI-systemen zoals hierboven genoemd in deze blog bij punt 1, waarbij hoogrisico-use cases moeten worden uitgesloten om niet onder het toepassingsgebied te vallen. Vervolgens moet de vraag gesteld worden wanneer een aanbevelingssysteem van “toevallig politieke content” naar “specifiek bedoeld voor politieke advertenties” gaat? De richtsnoeren bieden hier geen werkbaar criterium. Er kan hierbij worden gedacht aan algoritmen van sociale mediaplatformen, deze zijn niet ontworpen voor politieke beïnvloeding, maar wanneer deze politieke advertenties gericht plaatsen, vallen ze dan wel of niet onder hoog risico? Bovendien wordt er ook niet verduidelijkt wanneer een advertentie als “politiek” kan worden beschouwd. Moet ze uitgaan van een politieke partij of een politiek geïnspireerde belangengroep of volstaat een maatschappelijk geladen boodschap? Dit zijn belangrijke vragen in een medialandschap waar de grens tussen politieke en niet-politieke content steeds verder vervaagt.  

Het voorbeeld past in een bredere Europese trend waarbij er bewust niet voor gekozen is om politieke advertenties te verbieden, maar om ze te reguleren. Dat gebeurt vandaag al via de Political Advertising Regulation en de transparantieverplichtingen van de Digital Services Act. De AI Act voegt daar nu een extra laag aan toe, aangezien de hoogrisicokwalificatie betekent dat een aanbevelingsalgoritme zal moeten voldoen aan de volledige set vereisten voor hoogrisico AI-systemen, waaronder representativiteit van inputdata en menselijk overzicht. 

De Richtsnoeren maken veel duidelijk. We bevinden ons op een cruciaal moment, waarin alle betrokkenen de kans krijgen om hun stem te laten horen. Het belang van goede feedback wordt daarbij duidelijk erkend. Zo ging de Commissie in op de vraag van veel belanghebbenden om meer tijd te voorzien, en werd de feedbacktermijn met vier weken verlengd. De definitieve richtsnoeren worden naar verwachting tegen eind 2026 vastgesteld.

Heb je vragen over dit artikel? Neem dan gerust contact op met de auteurs. 

Meer lezen over dit onderwerp? Neem dan ook zeker een kijkje op onze themapagina's 'AI Act en wetgeving' en 'Beleidsmonitor'. 

Coverafbeelding door Symbiot via Adobe Stock