AI-systemen moeten weerbaar zijn tegen aanvallen en bedreigingen. Kwetsbaarheden waardoor AI-systemen kunnen worden aangevallen (bv. door hacking) zijn uit den boze. Dit geldt zowel voor de software als de hardware waarin het AI-systeem is ingebed. Deze kwetsbaarheden kunnen immers aanleiding geven tot allerhande vormen van schade.

Daarnaast moet voor elk AI-systeem een uitwijkplan en algemene veiligheidsmaatregelen voorzien zijn. AI-systemen moeten hun functie vervullen zonder daarbij schade toe te brengen aan mensen of het milieu. Ook onbedoelde schade moet worden vermeden. Bij AI-systemen hoort ook altijd een vorm van risicobeoordeling. Het nodige niveau hangt af van de feitelijke context: sommige AI-systemen vertonen een hoog risico en vereisen proactieve testen. Andere AI-systemen hebben een laag risico en vereisen minder zware testen.

Verder moeten AI-systemen nauwkeurig zijn. AI-systemen moet correcte afwegingen kunnen maken, bv. door informatie in de juiste categorieën in te delen of correcte aanbevelingen te doen. Zo kunnen onbedoelde risico’s van foute voorspellingen worden verminderd. AI-systemen moeten duidelijk maken indien fouten niet kunnen worden voorkomen. Nauwkeurigheid wordt des te belangrijker naarmate de gevolgen van de beslissingen van het AI-systeem een impact hebben op (het leven, de integriteit) van mensen.

Ten slotte moeten AI-systemen betrouwbaar en reproduceerbaar zijn. Betrouwbare AI-systemen werken goed met allerlei input en in verschillende situaties. Reproduceerbaarheid omvat dat AI-systemen bij gelijke omstandigheden altijd op dezelfde manier werken. Zo kan het gedrag van AI-systemen voorspeld worden. Replicatiebestanden kunnen dit werk vereenvoudigen.

Binnen dit principe behandelen we vier subcomponenten:

• weerbaarheid tegen aanvallen en bedreigingen
• algemene veiligheidsmaatregelen
• nauwkeurigheid
• betrouwbaarheid

Weerbaarheid tegen aanvallen en beveiliging

Kan het AI-systeem vijandige, kritieke of schadelijke effecten hebben (bv. voor de veiligheid van mensen of maatschappij) in geval van risico’s of bedreigingen zoals technische fouten in het ontwerp, uitval, aanvallen, misbruik, ongepast of kwaadwillig gebruik?

• Technische normen en standaarden

De meeste normen die voor regelgevers belangrijk zijn, worden in eerste instantie aangenomen door internationale (bv. International Standards Organisation-ISO), Europese (bv. CEN, CENELEC of ETSI) of nationale normeringsinstanties. Dit zijn private entiteiten die als hoofdactiviteit de normen voor allerhande soorten producten opstellen (bv. Nationaal Bureau voor Normalisatie).

Deze normeringsprocessen zijn soms nog altijd te traag om de technologische ontwikkelingen bij te benen. Om die reden zijn er ook verschillende nieuwe normen uitgevaardigd door industrieconsortia (bv. World Wide Web Consortium (W3C) en Internet Engineering Task Force). Ook de normen van het Instituut voor Elektrische en Elektrotechnische Ingenieurs (IEEE) zijn belangrijk.

De naleving van deze normen is in principe volledig vrijwillig tenzij anders wordt bepaald. In de productveiligheidswetgeving leidt de naleving van de normen tot een vermoeden van veiligheid en naleving van de veiligheidsverplichtingen. Soms wordt een conformiteitsbeoordeling ook verplicht. Deze en andere wetgevingen worden hieronder besproken.

Is het AI-systeem gecertificeerd voor cyberveiligheid of is het in overeenstemming met specifieke veiligheidsstandaarden?

• Technische normen en standaarden zoals de ISO normen over informatietechnologie en beveiligingstechnieken

De meest gekende cyberbeveiligingsstandaarden zijn de standaarden van de ISO 27000-familie die testen voorschrijven met betrekking tot het veiligheidsbeheer van informaticasystemen. Denk aan ISO/IEC 27001:2017 of ISO/IEC 27002. Er zijn op heden nog geen geharmoniseerde EU-normen voor AI. Op het niveau van de ISO en op sommige nationale niveaus zijn er wel al standaarden aangenomen omtrent AI (bv. ISO/IEC JTC 1/SC 42).

• Cyberveiligheid

In navolging van de NIS-Richtlijn voorziet de NIS-Wet in een vermoeden van veiligheid voor netwerk- en informatiesystemen die werden gecertificeerd conform ISO 27001. De naleving van veiligheidseisen wordt aangetoond aan de hand van een certificaat dat wordt uitgereikt door een bevoegde geaccrediteerde instelling voor de conformiteitsbeoordeling.

Verder voorziet de Cyberbeveiligingsverordening voor een vrijwillige certificering van ICT-producten, diensten en processen (art. 52, 54 en 55). Dit certificeringskader wordt door de European Union Agency for Cybersecurity (ENISA) voorbereid in opdracht van de Europese Commissie. Op volgende link kan een ontwerp van een kandidaat-certificeringskader worden gevonden.

• Gegevensbescherming

Een uitvoerige bespreking over de AVG is beschikbaar bij de toelichting van de ethische vereiste 3 over privacy en databeheer. Het volstaat hier te benadrukken de verwerking van persoonsgegevens voor beveiligingsdoeleinden mag gebeuren op grond van de rechtsgrond van het gerechtvaardigd belang (art. 6, lid 1, sub f)).

De AVG voorziet verder ook dat organisaties gedragscodes kunnen opstellen. Deze kunnen afspraken bevatten over hoe de verwerking moet gebeuren, hoe de rechten van betrokkenen moeten worden uitgeoefend, welke informatie moet worden verstrekt en welke beveiligingsmaatregelen worden aanvaard (art. 40). Art. 42 AVG verduidelijkt dat certificeringsmechanismen evenzeer worden aangemoedigd. De aansluiting bij dergelijke gedragscodes geldt als een bewijs van de naleving van verschillende verplichtingen (zie bv. relevante bepalingen in art. 24 en 25 ).

• Productveiligheid

In navolging van de Richtlijn Productveiligheid, bepaalt art. IX.2. WER dat de fabrikant uitsluitend veilige producten en diensten op de markt mag brengen.

Volgens artikel IX.3 WER wordt een product of dienst vermoed veilig te zijn indien het voldoet aan geharmoniseerde normen of (bij afwezigheid daarvan) aan de toepasselijke Belgische normen, aanbevelingen van de Europese Commissie, gedragscodes omtrent productveiligheid, de stand van vakkennis en techniek, de veiligheid die een gebruiker redelijkerwijze mag verwachten en internationale normen.

• Algemene veiligheidsverplichting en specifieke veiligheidsregels

Terugkerende elementen in relevante regelgeving zijn onder andere het veiligheidsvermoeden en de veiligheidsverplichting. Daarbovenop leggen deze regels ook bijzondere veiligheidsregels vast voor de conformiteitsbeoordeling van bepaalde producten (bv. medische hulpmiddelen).

De vormen van conformiteitsbeoordeling worden beschreven in Bijlage II van het EU-Kaderbesluit betreffende een gemeenschappelijk kader voor het verhandelen van producten. Daarnaast verplichten deze regels vaak ook tot het voorzien van de CE-markering die moet bewijzen dat producten in overeenstemming zijn met de productveiligheidswetgeving. Voor sommige producten moet een onafhankelijke aangemelde instantie worden betrokken die nagaat of een product conform is en dus een CE-label kan krijgen. Dit is terug te vinden in regels per productcategorie. De fabrikant moet ook een EG-verklaring van overeenstemming opmaken en de technische documentatie opmaken. Voorbeelden zijn de speelgoedwetgeving of de wetgeving voor machines. Een ander voorbeeld is de wetgeving inzake elektrische apparatuur.

Een samenvatting van de verschillende categorieën producten en de toepasselijke regelgeving en normen kan op volgende link worden gevonden.

• Gemeen kooprecht, aannemingsrecht en verbintenissenrecht

De naleving van het gemeen verbintenissenrecht zorgt ook voor de naleving van (veiligheids)normen. Dit geldt zowel voor de koop van zaken (naar Belgisch recht is dit alleen voor hardware of software die op een drager is geïnstalleerd) en een dienstverlening (dit is ook de levering van software zonder enige drager).

Art. 1604 en 1614 van het BW bepalen dat de verkoper aan de koper een zaak moet leveren die in overeenstemming is met de overeenkomst (‘conforme levering’). Deze conformiteit betreft ook de overeengekomen kwaliteit. Ook voor dienstenovereenkomsten geldt dat de dienstverlener de afgesproken of de gebruikelijke kwaliteit moet leveren. Het is dan ook aangewezen hieromtrent duidelijke afspraken te maken in een service level agreement.

In navolging van Richtlijn 1999/44 voorzien art. 1649bis e.v. van het BW in bijkomende conformiteitsgaranties voor de verkopen van goederen aan consumenten. Tussen ondernemingen die in verschillende landen gevestigd zijn kan ook het Weens Koopverdrag gelden.

De nieuwe Richtlijn 2019/770 betreffende bepaalde aspecten van overeenkomsten voor de levering van digitale inhoud en diensten (Richtlijn Digitale Inhoud) en Richtlijn 2019/771 betreffende bepaalde aspecten van overeenkomsten voor de verkoop van goederen (Richtlijn Consumentenkoop) voorzien beide in een conformiteitsplicht voor de levering van digitale inhoud (software, data, etc. die online wordt geleverd) en consumentengoederen. Deze conformiteit wordt zowel subjectief (op grond van de overeenkomst) als objectief (op grond van de thans geldende normen en geschiktheid voor de doeleinden van het product of de inhoud) beoordeeld. Deze richtlijnen moeten uiterlijk op 1 juli 2021 in Belgische wetgeving worden omgezet en van kracht gaan met ingang van 1 juli 2022.

• Algoritmische handel

In navolging van de MiFiD II-richtlijn voorziet de Wet van 21 november 2017 over de Infrastructuren voor de markten voor financiële instrumenten in de verplichting van marktexploitanten om erop toe te zien dat er in doeltreffende systemen, procedures en regelingen wordt voorzien om te waarborgen dat de handelssystemen weerbaar zijn, voldoende capaciteit hebben om volumepieken in orders en orderberichten op te gangen, in staat zijn een ordelijke handel onder zeer gespannen marktomstandigheden te waarborgen, volledig zijn getest om te garanderen dat aan deze voorwaarden is voldaan en onderworpen zijn aan doeltreffende regelingen ter verzekering van de continuïteit van de bedrijfsuitoefening om de continuïteit van de dienstverlener te verzekeren in geval van storingen in de handelssystemen. (artikel 22 §1 Wet 21 november 2017)

Deze bepaling wordt hernomen in het KB van 19 december 2017 tot bepaling van nadere regels tot omzetting van de richtlijn betreffende markten voor financiële instrumenten, waarnaar wordt verwezen in m.n. de Bankwet en de Wet Beleggingsondernemingen.

Bijkomende technische vereisten voor deze verplichting onder MiFiD 2 worden vastgelegd in de Gedelegeerde Verordening 2017/589 van de Commissie van 19 juli 2016 met betrekking tot technische reguleringsnormen tot specificering van de organisatorische vereisten voor beleggingsondernemingen die zich met algoritmische handel bezig houden.

Hoezeer is het AI-systeem blootgesteld aan cyber-aanvallen? Werd rekening gehouden met de mogelijke soorten aanvallen waarvoor het AI-systeem kwetsbaar kan zijn? Werden verschillende vormen van kwetsbaarheden en mogelijke ingangspunten gevonden voor aanvallen zoals datavergiftiging, modelontwijking en modelinversie?

• Aanvallen

Zoals alle andere ICT-systemen zijn ook AI-systemen vatbaar voor aanvallen.

Datavergiftiging houdt bv. in dat een aanvaller nieuwe incorrect gelabelde trainingsdata invoert in het systeem om het gedrag van het zelflerend systeem te verstoren. AI-systemen kunnen ook worden aangevallen via modelontwijkingstechnieken. Dit is het gebruik maken van kwetsbaarheden (uitbuiting) in het model zodat het zaken niet of verkeerd herkent. Een laatste gekende tactiek is modelinversie waarbij de aanvaller aan de hand van een beschrijving van het AI-model of van de output de onderliggende training-gegevens probeert te achterhalen.

• Gegevensbescherming

De verwerkingsverantwoordelijke is verplicht om gegevens op een dusdanige manier te verwerken dat een ‘passende’ beveiliging ervan gewaarborgd is. De gegevens moeten onder meer beschermd zijn tegen ongeoorloofde of onrechtmatige verwerking en tegen onopzettelijk verlies, vernietiging of beschadiging (art 5, lid 1, f) AVG).

Evenzeer verplicht art. 32 AVG de verwerkingsverantwoordelijke en de verwerker tot het nemen van passende technische en organisatorische maatregelen om een op het risico afgestemd beveiligingsniveau te waarborgen. In bepaalde gevallen moet ook een GEB worden uitgevoerd.

Zie voor meer informatie Ethisch Vereiste 3: Privacy en databeheer. Uit zijn aard omvat een GEB een modellering van mogelijke bedreigingen.

• Praktische methoden en normen

In de informatieveiligheid wordt voor de risicoanalyse gebruik gemaakt van bedreigingsmodellering. Dit houdt in dat binnen een onderneming iemand alle bedreigingen voor de veiligheid van alle informatie (waaronder persoonsgegevens) in kaart brengt en de nodige maatregelen neemt. Bekende bedreigingsmodelleringen zijn STRIDE (ontwikkeld door ingenieurs bij Microsoft) en LINDDUN Privacy-bedreigingsmodellering (ontwikkeld door de KU Leuven). Ook ISO 27001 verwijst naar een risicoanalyse en voorziet een lijst van risico’s die aanwezig kunnen zijn voor de informatieveiligheid.

• Cyberveiligheid

De NIS-wet bepaalt dat de aanbieders van essentiële diensten en digitaledienstverleners passende en evenredige technische en organisatorische maatregelen moeten nemen om de risico’s voor de beveiliging van netwerk- en informatiesystemen waarvan zijn essentiële diensten afhankelijk te zijn te beheersen. De aanbieder neemt ook passende maatregelen om incidenten die de beveiliging van de voor de verlening van die essentiële diensten gebruikte netwerk- en informatiesystemen aantasten te voorkomen of de gevolgen ervan te minimaliseren. Voor de beheersing en de minimalisering van incidenten moet men deze kunnen identificeren, wat neerkomt op bedreigingsmodellering.

De Cyberbeveiligingsverordening bepaalt dat het opzet van het Europese cyberbeveiligings-certificeringskader er onder meer in bestaat afhankelijkheden en kwetsbaarheden op te sporen en te documenteren (art. 51). Er wordt geverifieerd dat ICT-producten, -diensten en -processen geen bekende kwetsbaarheden bevatten en door standaardinstellingen/ontwerp veilig zijn. Ook hier wordt verwezen naar risicobeoordeling, en dus ook naar bedreigingsmodellering.

• Algoritmische handel

De verplichting om weerbaarheid te voorzien in de systemen, waaronder in weerstand tegen storingen in de systemen, hierboven reeds besproken, kan worden gezien als een verplichting om weerbaar te zijn tegen aanvallen van buitenuit. De systemen moeten ook op passende wijze zijn getest. Verder voorziet de Gedelegeerde Verordening 2017/589 ook in de verplichting in een realtimemonitoring en een geautomatiseerd toezichtssysteem om markmanipulatie op te sporen.

• Mogelijke sancties

Er zijn reeds verschillende informaticamisdrijven terug te vinden zoals valsheid in informatica (art. 210bis Strafwetboek), informaticabedrog (art. 504quater Strafwetboek), hacking (art. 550bis Strafwetboek), informaticasabotage/ongeoorloofde datamanipulatie (Art. 550ter Strafwetboek).

Werden maatregelen genomen om de integriteit, robuustheid en de algemene veiligheid van het AI-systeem te garanderen tegen potentiële aanvallen over de gehele levenscyclus?

• Cyberveiligheid

De algemene verplichtingen van essentiële dienstverleners en digitaledienstverleners onder de NIS-wet werden hierboven reeds besproken. Deze maatregelen gelden gedurende de levenscyclus van het systeem. Ook bepalingen in de Cyberbeveiligingsverordening zijn relevant (bv. art. 51, j)).

• Algemene Verordening Gegevensbescherming

De verwerkingsverantwoordelijke is verplicht om de passende maatregelen te nemen om de naleving van de AVG te waarborgen. Passende beveiligingsmaatregelen omvatten onder meer het vermogen om op permanente basis de vertrouwelijkheid, integriteit, beschikbaar en veerkracht van de verwerkingssystemen en diensten te garanderen. Dit impliceert een constante beveiliging.

• Verplichtingen van aanbieders van elektronische communicatiediensten

In navolging van art. 4 van de e-Privacyrichtlijn verplicht artikel 114 van de Wet van 13 juni 2005 betreffende de elektronische communicatie de aanbieders van openbare elektronische-communicatiediensten om passende technische en organisatorische maatregelen te voorzien om de veiligheid van hun diensten te garanderen. Deze moeten in verhouding staan met het betrokken risico, rekening houdend met de stand van de techniek en de kosten van uitvoering.

• Consumentenrecht

De handelaar zorgt ervoor dat (beveiligings)updates die nodig zijn om de conformiteit van de digitale inhoud of de dienst te handhaven aan de consument worden gemeld en geleverd gedurende de voorziene periode (art. 8 Richtlijn Digitale Inhoud). De Richtlijn Consumentenkoop bevat gelijkaardige bepalingen voor goederen met digitale elementen (art. 7).

• Productveiligheid

In navolging van de Richtlijn Productveiligheid bepaalt art. IX.8 §2 WER dat de producenten van producten en diensten maatregelen moeten nemen die zijn afgestemd op de kenmerken dan de door hen geleverde producten en diensten om 1) op de hoogte te blijven van de risico’s van deze producten en diensten en 2) de passende acties te ondernemen om de risico’s van deze producten te voorkomen. Distributeurs dragen ook bij tot de naleving van de veiligheidseisen. Ze nemen binnen het bestek van hun activiteiten deel aan de bewaking van de veiligheid van de op de markt gebrachte producten (art. IX.8 §3 WER).

Ze moeten ook het Centraal Meldpunt voor Producten onmiddellijk in kennis wanneer zij weten dat het product of dienst voor de gebruiker risico’s met zich meebrengt die onverenigbaar zijn met de algemene veiligheidsverplichting (art. IX.8 §4 WER). Deze verplichting geldt ook voor de producenten en distributeurs van producten die aan specifieke veiligheidswetgeving onderworpen zijn. Soms worden verplichtingen ook opgelegd in andere regelgeving (bv. art. 11 Bouwproductenverordening).

• Algoritmische handel

De verplichting om in weerbare systemen voor algoritmische handel te voorzien werd hierboven reeds besproken. De Gedelegeerde Verordening 2017/589 voorziet o.a. in een jaarlijkse zelfbeoordeling en realitimemonitoring als waarborg voor een continue naleving van deze voorschriften.

Werd het AI-systeem geredteamed/pentest?[1]

• Strafrecht

De strafbaarstelling van hacking werd reeds aangehaald. Voor red teams of penetratietesten van een netwerk is het aangewezen dat er duidelijke afspraken zijn gemaakt over welke informaticasystemen mogen worden geïnfiltreerd en op welke wijzen dit mag gebeuren.

• Standaarden

Voor penetratietests zijn onder andere de volgende methodes beschikbaar: het Open Source Security Testing Methodology Manual, de OWASP Web Application Penetration Checklist en de Penetration Testing Execution Standard

• Regelgeving beleggingsondernemingen die zich met algoritmische handel bezig houden

De verplichting om in weerbare systemen te voorzien werd reeds besproken voor alle ondernemingen die algoritmen gebruiken voor de uitvoering van bijvoorbeeld het kopen en verkopen van effecten.

De Gedelegeerde Verordening 2017/589 voorziet in bijkomende verplichtingen. Een beleggingsonderneming moet een IT-strategie implementeren met gedefinieerde doelstellingen en maatregelen die in overeenstemming is met effectief en veilig IT-beheer. Een beleggingsonderneming onderneemt jaarlijks penetratietests en kwetsbaarheidsscans om cyberaanvallen te simuleren (art. 18).

Werden eindgebruikers geïnformeerd over de duur van de beveiliging en eventuele updates?

• Cyberbeveiliging

Conform de Cyberbeveiligingsverordening moet de fabrikant en de aanbieder van ICT-producten, -diensten en -processen o.a. de periode voorzien gedurende dewelke beveiligingsondersteuning zal worden aangeboden aan eindgebruikers, met name wat betreft de beschikbaarheid van actualiseringen in verband met cyberbeveiliging (art. 55).

• Gegevensbescherming

De verwerkingsverantwoordelijke moet de betrokkene onder andere informeren over de bewaartermijnen van de gegevens, dan wel de criteria die worden gehanteerd om de bewaartermijn te bepalen (art. 13, lid 2 en art. 14, lid 2 AVG).

• Consumentenrecht

Binnen het consumentenrecht zijn er tal van informatieplichten ten aanzien van de eindgebruiker. Deze worden besproken onder Ethisch Vereiste 4: Transparantie.

• Verbintenissenrecht

De verkoper van software heeft een informatieplicht omtrent de voornaamste kenmerken van de zaak bij een verkoop. Ook de aannemer moet zijn diensten uitvoeren volgens de regels van de kunst en heeft een informatieplicht. Hieromtrent is echter geen wettelijke regelgeving. Om die reden is het in alle geval aangewezen om de duur van updates duidelijk op te laten nemen in een service level agreement om discussies te vermijden.

Hoe lang moeten beveiligingsupdates voor het AI-systeem worden voorzien?

• Consumentenbescherming

De Richtlijn Digitale Inhoud (art. 8) en Richtlijn Consumentenkoop (art. 7) bevatten ook bepalingen over (beveiligings)updates. De verkoper zal verplicht zijn om gedurende de contractueel voorziene periode alle nodige beveiligingsupdates aan te bieden die “de consument redelijkerwijze kan verwachten” om aansprakelijkheid te vermijden. Dit omvat ook updates betreffende de beveiliging.

• Productveiligheidswetgeving

De bewakingsplicht voor producenten betreffende alle risico’s die betrekking hebben op hun producten werd reeds besproken (art. IX.8 §2 WER). Deze maatregelen omvatten eveneens dat producenten van producten die software bevatten ervoor zorgen dat zij een inschatting maken van hoe lang updates moeten worden voorzien, en dat zij gedurende de looptijd van de software updates voorzien. Een regeling voor producenten van software ontbreekt.

Algemene veiligheid

Werden de risico’s, risicometriek en het risiconiveau van het AI-systeem in elk specifiek geval gedefinieerd? Werd een proces voorzien om voortdurend de risico’s te meten en te beoordelen?

• Algemeen

Hierboven werd de verplichting aangehaald om een risicoanalyse uit te voeren van alle bedreigingen en de nodige testen te doen op grond van regelgeving inzake cyberveiligheid, gegevensbescherming, het consumenten/contractenrecht en productveiligheid.

• Productveiligheid

Hierboven werd reeds toegelicht dat producenten op grond van de productveiligheidswetgeving een bewakingsplicht hebben betreffende alle risico’s die betrekking hebben op hun producten.

• Gegevensbescherming

Er staat geen strikte tijdslimiet op de verplichting om passende technische en organisatorische beveiligingsmaatregelen te nemen (art. 32 AVG). Deze verplichting blijft van toepassing tijdens elke verwerking. Ook de beginselen van verwerking in art. 5 AVG (met name doelbeperking en integriteit) verplichten dat er een proces is om de veiligheid te beoordelen. Ook kan worden gesteld dat men de risico’s waarvoor een GEB is uitgevoerd voortdurend moet blijven beoordelen (art. 35, lid 11).

• Algoritmische handel

De verplichting om in weerbare en adequaat geteste systemen te voorzien en de verplichting om de continuïteit van de bedrijfsuitoefening te garanderen werden reeds besproken.

Krachtens artikel 14 Gedelegeerde Verordening 2017/589 voorzien de regelingen ter verzekering van de continuïteit van de bedrijfsuitoefening in de effectieve behandeling van verstorende incidenten en waarborgen een tijdige hervatting van de algoritmische handel. Deze regelingen omvatten o.a. een reeds mogelijke ongunstige scenario’s in verband met de exploitatie van algoritmische handelssystemen. De IT-strategie waarover eerder werd gesproken, dient ook aangepast te zijn aan de operationele activiteiten en de risico’s waaraan de onderneming is blootgesteld.

Werden de eindgebruikers en de betrokken personen geïnformeerd van de bestaande of potentiële risico’s?

• Algemeen

Deze vereisten moet samen worden gelezen met verplichtingen onder Ethisch Vereiste 4: Transparantie.

• Verbintenissenrecht

Een verkoper is gehouden tot vrijwaring voor de verborgen gebreken van de verkochte zaak (art. 1641 BW). Naar Belgisch recht is er geen strikte informatieplicht voor de verkoper. De verkoper moet weliswaar op grond van de goede trouw de koper volledig informeren van wat hij aanbiedt. Hierbij moet rekening worden gehouden met de behoeften, verwachtingen en mogelijkheden van de klant. Duidelijke contractuele afspraken zijn dus aanbevolen.

• Arbeidsveiligheid

De Welzijnswet en de Codex Welzijn op het Werk voorzien ook in verplichtingen voor de werkgever om te zorgen voor de veiligheid van het personeel. Dit impliceert dat hij alle informatie moet geven die betrekking heeft op de risico’s en de preventiemaatregelen ter beperking van die risico’s. (zie o.a. artikel I.2-16 Codex Welzijn op het Werk)

• Algoritmische handel

De wetgeving inzake algoritmische handel verplicht beleggingsondernemingen om het personeel op te leiden inzake het beheer van de regelingen ter verzekering van de bedrijfscontinuïteit. Zie o.a. artikel 14 Gedelegeerde Verordening 2017/589.

Werden mogelijke bedreigingen voor het AI-systeem geïdentificeerd (gebreken in ontwerp, technische gebreken, bedreigingen voor het milieu) en de mogelijke gevolgen hiervan? Werd het risico beoordeeld van een mogelijk schadelijk gebruik, misbruik of ongepast gebruik van/voor het AI-systeem?

• Cyberbeveiliging

Verschillende bepalingen over het nemen van technische en organisatorische maatregelen onder de NIS-wet werden reeds aangehaald. De betrokken actoren moeten dus alle mogelijke bedreigingen te identificeren.

De Cyberbeveiligingsverordening voorziet in bijkomende regels wat betreft de certificatie. Teneinde een cyberbeveiligingscertificaat te bekomen, heeft de entiteit die de software ontwikkelt de verplichting om de voorgeschreven conformiteitsbeoordelingsprocedure uit te voeren. Art. 51 voorziet in verschillende beveiligingsdoelstellingen van de cyberbeveiligingscertificeringsregelingen waaronder afhankelijkheden en kwetsbaarheden opsporen en documenteren en nagaan of ICT-producten, -diensten en -processen geen bekende kwetsbaarheden vertonen.

• Productveiligheid

De algemene veiligheidsverplichting, de bewakingsplicht en andere verplichtingen in specifieke regelgeving werden reeds besproken.

• Productaansprakelijkheid

Volgens de Wet Productaansprakelijkheid is een producent aansprakelijk voor de schade die veroorzaakt wordt door gebrekkige producten tenzij hij o.a. bewijst dat het op grond van de stand van de wetenschappelijke en technische kennis op het tijdstip waarop hij het product in het verkeer bracht onmogelijk was om het bestaan van het gebrek te ontdekken. Een product is gebrekkig als het niet de veiligheid biedt die men gerechtigd is te verwachten. Een producent van producten heeft er dus alle baat bij om de risico’s en bedreigingen op voorhand te identificeren.

• Consumentenrecht

Het werd reeds aangehaald dat de verkoper de consument op voorhand moet inlichten over de functionaliteiten van het product of de dienst, zowel bij offline als bij online overeenkomsten. Dit impliceert dat zij de mogelijke bedreigingen hebben geïdentificeerd.

• Verbintenissenrecht

De verplichting tot conforme levering van goederen en diensten, alsook de informatieplichten van de verkoper en de dienstverlener, werden reeds besproken.

• Algoritmische handel

De verplichting om in voldoende weerbare en adequaat geteste systemen te voorzien werd reeds besproken. Deze omvatten o.a. een IT-strategie die aangepast is aan de risico’s die de onderneming loopt, wat inhoudt dat de onderneming deze risico’s moet hebben gedefinieerd. Ook moet de onderneming als regeling voor het behoud van haar bedrijfscontinuïteit o.a. de ongunstige scenario’s beschrijven die met haar activiteiten verbonden zijn.

• Arbeidsveiligheid

De Welzijnswet verplicht werkgevers om de nodige maatregelen te nemen ter bevordering van het welzijn van de werknemers bij de uitvoering van hun werk. Daarbij moeten als preventiebeginselen o.a. worden toegepast dat de werkgever risico’s moet voorkomen, risico’s die niet kunnen worden voorkomen moet evalueren en zo veel als mogelijk de risico’s moet inperken, rekening houdend met de ontwikkelingen van de techniek. De Codex Welzijn op het Werk voorziet ook in verplichtingen met betrekking tot de risicoanalyse (zie o.a. artikelen I.2.-5-I.2-7).

• Milieuveiligheid

Dit moet worden samengelezen met Ethisch Vereiste nr. 6 Milieu- en Maatschappelijk Welzijn.

Werden de niveaus van ernst gedefinieerd (bijvoorbeeld voor menselijke integriteit) van de mogelijke gevolgen van gebreken of misbruiken van het AI-systeem?

• Cyberbeveiliging

In het kader van haar algemene verplichtingen om de veiligheid van hun netwerken te voorzien, zijn zowel de verleners van essentiële diensten als digitaledienstverleners onder de NIS-wet verplicht om niveaus van ernst te definiëren. De Cyberbeveiligingsverordening maakt een onderscheid tussen drie zekerheidsniveaus: ‘basis’, ‘substantieel’ of ‘hoog’.

• Productveiligheid

De risico-gebaseerde aanpak van de veiligheidsverplichting impliceert dat voor bepaalde producten strengere regels gelden dan voor andere. Voor bepaalde categorieën (bv. voor medische hulpmiddelen of bepaalde machines) kunnen strengere conformiteitsbeoordelingsprocedures worden opgelegd. Dit houdt op zich reeds in dat er een onderscheid wordt gemaakt in de risico’s van verschillende producten. Een risico-inschatting moet ook altijd worden gemaakt bij het nemen van corrigerende maatregelen door producenten, zoals bijvoorbeeld een terugroeping.

• Gegevensbescherming

De verwerkingsverantwoordelijke en de verwerker moeten passende technische en organisatorische maatregelen treffen om een op het risico afgestemd beveiligingsniveau te waarborgen. Bij de beoordeling van het passende beveiligingsniveau wordt met name rekening gehouden met de verwerkingsrisico's (art. 32 AVG). Een verwerkingsverantwoordelijke moet ook een inbreuk in verband met persoonsgegevens melden aan de toezichthoudende autoriteit (art. 33) en aan de betrokkene wanneer deze waarschijnlijk een hoog risico inhoudt voor diens rechten en vrijheden (art. 34).

• Milieurisico’s

Een uitvoerige uitleg over de milieueffectbeoordeling, milieueffectrapportering en productnormen kan worden teruggevonden in de toelichting van Ethisch Vereiste 6: Maatschappelijk en milieuwelzijn.

Werd de afhankelijkheid van de beslissingen van een kritiek AI-systeem beoordeeld op zijn stabiel en betrouwbaar gedrag? Werden de betrouwbaarheids-/testvereisten aangepast aan de gepaste niveaus van stabiliteit en betrouwbaarheid?

• Algemeen

AI-systemen zijn in de regel softwaretoepassingen die leren. Hun betrouwbaarheid is daarom in alle omstandigheden essentieel. Betrouwbaarheid betekent dat het AI-systeem doet waarvoor het is ontworpen. De betrouwbaarheid van software is voor gebruikers in de praktijk moeilijker te voorspellen. Software is immers niet zichtbaar: de gebruiker ervaart slechts de grafische interface, maar ziet geen fouten in het ontwerp van de software. Voor AI-systemen is dit nog moeilijker, net omdat deze systemen zichzelf bijsturen.

• Cyberbeveiligingswetgeving

Het opzet van een cyberbeveiligingscertificeringsregeling is onder meer dat de afhankelijkheid en kwetsbaarheden worden opgespoord. Indien deze gekend zijn moeten ze worden gedocumenteerd. Verder is er op dit punt een ‘Trustworthiness’ standaard in ontwikkeling bij de ISO.

• Productveiligheid en productaansprakelijkheid

De veiligheid van producten en diensten houdt in dat het product of de dienst bij normale of redelijkerwijze te verwachten gebruiksomstandigheden geen enkel risico oplevert, dan wel slechts beperkte risico’s die verdedigbaar zijn met het gebruik en vanuit het oogpunt van een hoog beschermingsniveau voor de gezondheid en de veiligheid van personen, aanvaardbaar wordt geacht.

In de Wet Productaansprakelijkheid wordt een gebrekkig product gedefinieerd als een product dat niet de veiligheid biedt die men normalerwijze gerechtvaardigd is te verwachten. Om dit correct in te schatten, moet ook de betrouwbaarheid van het systeem voldoende worden ingeschat. Men moet de foutenmarge ook correct inschatten. Verder voorzien de specifieke productregelgevingen ook vereisten inzake de betrouwbaarheid van de producten (wanneer die bv. gebruik maken van AI). Een voorbeeld kan worden gevonden in Bijlage 1 van het KB van 12 augustus 2008 betreffende het op de markt brengen van machines. Dit voorziet als één van de essentiële vereisten ook ‘betrouwbaarheid’.

• Algoritmische handel

De verplichting om de weerbaarheid van handelssystemen te garanderen in artikel 22 van de Wet van 21 november 2017 en het KB van 19 oktober 2017 werden reeds besproken.. Verder kan worden verwezen naar de operationale vereisten in de Gedelegeerde Verordening 2017/589, o.a. omtrent de regelingen ter verzekering van de bedrijfscontinuïteit, realtimemonitoring en beveiliging.

Werd een foutentolerantie gedefinieerd door bijvoorbeeld een gedupliceerd systeem of een ander parallel systeem (op AI gebaseerd of conventioneel)? Werd een mechanisme gebouwd om te evalueren of een AI-systeem is veranderd om een nieuwe beoordeling van technische robuustheid en veiligheid te waarborgen?

• Algemeen

In de beoordeling van de informatieveiligheid kan gebruik worden gemaakt van gedupliceerd systemen of parallelle systemen, waarop vervolgens de nodige testing kan gebeuren. Onder andere de LINDDUN-bedreigingsmodelleringsmethode werkt op deze manier.

• Productveiligheid

Art. IX.8 §2 van het WER voorziet in de verplichting van producenten om de passende maatregelen te nemen om op de hoogte te blijven van de risico’s van deze producten en diensten, alsook de passende acties te nemen om deze risico’s te voorkomen. De distributeurs moeten ook op de hoogte blijven van de risico’s van de producten en informatie melden aan de producenten.

• Cyberveiligheid

Ook de verplichtingen in de NIS-wet zijn niet beperkt in de tijd en gelden dus in principe gedurende de hele activiteit van de verlener van essentiële diensten of de digitaledienstverlener. Deze regels gelden echter niet voor micro- of kleine ondernemingen zoals bepaald in art. 32.

De Cyberbeveiligingsverordening stelt dat een cyberbeveiligingscertificeringsregelingen zorgt dat een aantal beveiligingsdoelstellingen worden verwezenlijkt. Eén daarvan is dat ICT-producten, -diensten en -processen worden geleverd met actuele software en hardware die geen algemeen bekende kwetsbaarheden bevatten, en met mechanismen voor beveiligde updates (art. 51).

• Consumentenrecht

De relevante bepalingen rond beveiligingsupdates onder consumentenregelgeving werden reeds besproken.

• Bescherming van persoonsgegevens

Verschillende bepalingen over de beveiliging van de verwerking in art. 32, lid 1 van de AVG maken duidelijk dat de veiligheidsverplichting permanent is. Dit impliceert dat ook voor AI-systemen telkens de maatregelen op gezette tijdstippen moeten worden geëvalueerd. Een GEB wordt ook niet alleen uitgevoerd bij aanvang van een verwerking van persoonsgegevens, maar ook wanneer sprake is van een verandering van het risico dat de verwerkingen inhouden. Dit omvat geen essentiële verplichting om regelmatig te controleren, maar gelet op de risico’s en onvoorspelbaarheid van AI-systemen is het aangeraden om minstens een systeem te hebben om nieuwe risico’s te melden (art. 35).

• Algoritmische handel

De algemene verplichting voor aanbieders van diensten m.b.t. algoritmische handel om weerbare systemen te ontwikkelen werd reeds besproken. Inzake de technische vereisten kan o.a. worden verwezen naar de verplichtingen inzake jaarlijkse zelfbeoordeling in afdeling 2 Gedelegeerde Verordening 2017/589.

• Milieuveiligheid

Dit wordt uitvoeriger besproken bij de Ethisch Vereiste 6: Maatschappelijk en milieuwelzijn.

Nauwkeurigheid

Kan een laag niveau van nauwkeurigheid van het AI-systeem resulteren in een kritieke, vijandige of schadelijke gevolgen? Werden maatregelen genomen om ervoor te zorgen dat de (trainings)data die gebruikt wordt om het AI-systeem te ontwikkelen: (1) up-to-date zijn, (2) van hoge kwaliteit zijn, (3) volledig zijn en (4) representatief zijn van de omgeving waarin het systeem zal worden gebruikt?

• Gegevensbescherming

Volgens de AVG moeten persoonsgegevens juist zijn en zo nodig worden geactualiseerd (art. 5). De persoonsgegevens die in het AI-systeem worden ingevoerd, dienen op zijn minst correct en accuraat te zijn. De verwerkingsverantwoordelijke is dus in principe verplicht om de persoonsgegevens die hij verwerkt periodiek te updaten. Dit is echter niet altijd mogelijk aangezien de informatie over de juistheid in de praktijk vaak zal komen van de betrokkene zelf, die bijvoorbeeld nieuwe gegevens meedeelt of een verzoek tot correctie formuleert (art. 16). Iedere rectificatie dient wel aan elke ontvanger van de persoonsgegevens te worden meegedeeld (art. 19). Verder dient het proces ook op die manier te worden georganiseerd dat voormelde principes worden nageleefd op grond van de verplichting om gegevensbescherming door ontwerp te realiseren (art. 25).

• Productveiligheid

De veiligheidsverplichting van producenten (art. IX.2 WER) houdt in dat er moet worden gezorgd dat het AI-systeem geen onnauwkeurigheden bevat die kunnen leiden tot een schadegeval. Deze risico’s moeten permanent worden gemonitord (art. IX.8 WER). ISO voorziet ook in relevante internationale normen voor AI-systemen.

• Consumentenbescherming

De vereiste van nauwkeurigheid kan ook een deel vormen van de objectieve conformiteitsvereisten binnen de Richtlijn Digitale Inhoud (art. 8) en de Richtlijn Consumentenkoop (art. 7).

• Discriminatierecht

Zie voor meer uitleg de bespreking Ethisch Vereiste 5: Diversiteit, non-discriminatie en rechtvaardigheid

Werd een systemen in werking gesteld om de nauwkeurigheid van het AI-systeem te monitoren en documenteren?

• Gegevensbescherming

De veiligheidsverplichting in de AVG werd reeds besproken. Die omvatten onder andere een procedure voor het op gezette tijdstippen testen, beoordelen en evalueren van de doeltreffendheid van de technische en organisatorische maatregelen ter beveiliging van de verwerking (art. 32 AVG).

• Productveiligheid

De bewakingsplicht onder art. IX.8 §2 WER werd al besproken. De producenten moeten de nauwkeurigheid van het AI-systeem monitoren en documenteren. Het uitvoeren van steekproeven en de bewakingsplicht zorgen voor documentatie die dit mogelijk maakt. Ook de distributeurs hebben een verplichting om de veiligheid te bewaken door verschillende maatregelen (art. IX.8, §3).

Verder hebben zowel producenten als distributeurs een meldingsplicht aan het Centraal Meldpunt voor Producten (art. IX.8, §4).

Ook op grond van de specifieke productreglementeringen dienen de kenmerken van elk product minstens in kaart te worden gebracht. Veel voorkomende verplichtingen zijn immers dat de fabrikant minstens een conformiteitsbeoordelingsprocedure moet (laten) uitvoeren. Ook moet de fabrikant technische documentatie opstellen. Deze technische documentatie moet toelaten te beoordelen of het product aan de relevante eisen voldoet (bv. medische hulmiddelen of machines).

• Cyberbeveiliging

De verplichtingen van de actoren om risico’s te identificeren en passende maatregelen te nemen onder de NIS-wet werden reeds aangehaald. Digitaledienstverleners zijn dus verplicht om alle risico’s bij te houden en te documenteren (art. 30). Ze zijn ook verplicht om incidenten te melden (art. 35 e.v.). Ook onder de Cyberbeveiligingsverordening moeten actoren afhankelijkheden nagaan en kwetsbaarheden documenteren (art. 51). De gecertificeerde fabrikant of de aanbieder van ICT-producten, -diensten en -processen moet ook bepaalde informatie openbaar maken (art. 55).

• Algoritmische handel

Ook de MiFID II-wetgeving (hierboven reeds besproken) en de Gedelegeerde Verordening voorzien in een permanente zelfbeoordeling, in functie waarvan aanbieders van systemen voor algoritmische handel systematisch moeten beoordelen of hun systemen voldoende weerbaar zijn. Zij zijn verplicht in functie hiervan zichzelf permanent aan te passen.

Werden processen in werking gesteld om te verzekeren dat het nauwkeurigheidsniveau van het AI-systeem dat eindgebruikers en/of betrokkenen mogen verwachten op degelijke wijze werd gecommuniceerd?

De communicatieverplichtingen werden reeds besproken en komen ook aan bod bij de bespreking van Ethisch Vereiste 4: Transparantie.

Betrouwbaarheid, failsafe-plannen en reproduceerbaarheid

Kan het AI-systeem kritieke, vijandige, of schadelijke gevolgen (bijvoorbeeld voor de menselijke veiligheid) hebben in geval van een lage betrouwbaarheid en/of reproduceerbaarheid?

De verplichting om de betrouwbaarheid op te volgen houdt dezelfde regelgeving in als de algemene verplichtingen tot beveiliging en bewaking van de veiligheid. Deze werden reeds besproken.

Werd een goede gedefinieerd proces voorzien om op te volgen of het AI-systeem de beoogde doelen bereikt?

• Gegevensbeschermingsrecht

Persoonsgegevens moeten toereikend zijn, ter zake dienend en beperkt tot wat noodzakelijk is voor de doeleinden waarvoor zij worden verwerkt (art. 5, lid 1, c) AVG). Verder is de verwerking van persoonsgegevens maar toegestaan indien de verwerking noodzakelijk is voor één van de rechtsgronden die in art. 6 AVG worden opgesomd. Al deze doeleinden moeten worden vermeld in het register van gegevensverwerkingen (art. 32 AVG).

• Productveiligheid

In dit verband is de reeds besproken bewakingsplicht relevant. Vooral het bijhouden van de technische documentatie en het bijhouden van o.a. een klachtenregister, alsook de algemene verplichting om steekproeven te nemen teneinde op de hoogte te blijven van alle risico’s die aan producten verbonden zijn springen in het oog (art. XI.8 WER)

• Algoritmische handel

De verplichtingen zoals opgenomen in de MiFiD II-wetgeving werden hierboven reeds besproken. Als technische vereisten kan worden verwezen naar de verplichtingen inzake jaarlijkse zelfbeoordeling en validatie, stresstests en het beheer van materiële wijzigingen.

Werd getest of specifieke contexten of voorwaarden in acht moeten worden genomen om de reproduceerbaarheid te verzekeren?

Hiervoor gelden de algemene vereisten inzake productveiligheid. De cyberveiligheidsstandaarden zijn vooral gericht op het weerstaan van aanvallen, niet zozeer op gebreken inzake het AI-model. Er lijken op het eerste zicht geen specifieke standaarden beschikbaar voor de reproduceerbaarheid van AI-systemen.

Werden verificatie- en validatiemethoden en documentatie (bijvoorbeeld logging) voorzien om verschillende aspecten van de betrouwbaarheid en de reproduceerbaarheid van het AI-systeem te evalueren en te verzekeren? Werden processen om de betrouwbaarheid en de reproduceerbaarheid van het AI-systeem te testen op een duidelijke wijze gedocumenteerd en geoperationaliseerd?

• Gegevensbeschermingsrecht

Volgens de AVG is een register van verwerkingsactiviteiten vereist (art. 30), een lijst van gevenslekken (art. 33), alsook de voorgeschreven maatregelen die daarbij moeten worden genomen en worden gedocumenteerd. Ook de GEB kan als een vorm van logging beschouwd worden (art. 35). Zie hierover ook Ethisch Vereiste 3: Privacy en databeheer.

• Cyberveiligheid

De relevante bepalingen rond de identificatie van risico’s en het nemen van passende technische en organisatorische maatregelen onder de NIS-wet kwam al aan bod (art. 33). Daarnaast is er ook een meldingsplicht van incidenten (art. 35-37). De Uitvoeringsverordening 2018/151 bepaalt dat de digitaledienstverlener een aantal maatregelen kan nemen met betrekking tot de behandeling van incidenten (art. 2). De certificeringsregeling onder de Cyberbeveiligingsverordening test ook op de vraag of er logging is voorzien die ervoor zorgt dat de veiligheid van de verschillende systemen gewaarborgd blijft (art. 51).

• Milieuveiligheid

Hier kan meer informatie over worden gevonden bij de bespreking van Ethisch Vereiste 6: Maatschappelijk en milieuwelzijn.

• Algoritmische handel

In het kader van de technische en organisatorische vereisten ter naleving van de beveiligingsplicht uit de MiFiD II-wetgeving kan o.a. worden verwezen naar de conformiteitstests, alsook de jaarlijkse zelfbeoordeling.

Werd voorzien in geteste failsafe-methodes om systeemfouten van eender welke oorsprong aan te pakken en zijn er bestuursprocessen om deze methodes te activeren?

• Algemeen

Een failsafe is methode die ervoor zorgt dat het AI-systeem bij een fout stopt of terugkeert naar een veilige stand.

• Standaarden

Op het niveau van de IEEE is thans een standaard in opmaak voor het failsafe ontwerp van autonome systemen: P7009 Standard for Fail-Safe Design of Autonomous and Semi-Autonomous Systems. Meer informatie vindt u hier.

• Algoritmische handel

Afdeling 3 van Gedelegeerde Verordening 2017/589 met betrekking tot technische reguleringsnormen tot specificering van de organisatorische vereisten voor beleggingsondernemingen die zich met algoritmische handel bezighouden voorziet in verschillende beveiligingsverplichtingen. Er moet bijvoorbeeld een kill-functionaliteit worden ingebouwd (art. 12).

• Algemene veiligheidswetgeving

Producenten zijn verplicht om uitsluitend veilige producten op de markt te brengen en veilige diensten aan te bieden (art. IX.2 WER). Om aan dit veiligheidsvermoeden te voldoen, kan beroep worden gedaan op geharmoniseerde normen die van toepassing zouden zijn op AI-systemen (art. IX.3 WER).

• Specifieke sectorale regelgeving

Verder kan het zijn dat in bepaalde sectorale regelgeving een failsafe-methode moet worden voorzien als onderdeel van één van de essentiële vereisten. Denk bijvoorbeeld aan machines (punt 1.2.1. van Bijlage 1) of medische hulpmiddelen.

• Cyberveiligheid

De NIS-wet verplicht de aanbieder van essentiële diensten en de digitaledienstverleners om passende maatregelen te nemen om incidenten te voorkomen of de gevolgen ervan te minimaliseren, teneinde de continuïteit van deze diensten te waarborgen (art. 20 en 33). Ook de Uitvoeringsverordening 2018/151 bevat bepalingen over rampenplannen en uitwijkcapaciteiten (art. 2, lid 3). Deze rampenplannen maken duidelijk dat er voor de netwerk- en informatiesystemen een failsafe moet zijn. In dit verband is ook ISO 27001:2017 relevant.

De Cyberbeveiligingsverordening stelt ook uitdrukkelijk als beveiligingsdoelstellingen voorop dat bij een fysiek of technisch incident de toegang wordt hersteld en ICT-producten, -diensten en -processen door standaardinstellingen door ontwerp veilig zijn (art. 51).

• Gegevensbescherming

De AVG voorziet in een eerste failsafe als er fouten zijn bij geautomatiseerde individuele besluitvorming waaronder profilering (art. 22). Een andere failsafe is de uitoefening van het recht op rectificatie (art. 16) en op de beperking van de verwerking (art. 18).

Werd een degelijke procedure aangenomen wanneer het AI-systeem resultaten voorziet met lage betrouwbaarheidsscore?

• Productveiligheid

Deze verplichting valt onder de algemene verplichting conform art. IX.8 WER om de nodige maatregelen te nemen om ten allen tijde op de hoogte te blijven van de risico’s die gelden aangaande de producten en/of diensten die men op de markt brengt.

• Gegevensbeschermingsrecht

Er kan verwezen worden naar het recht op bezwaar tegen uitsluitend op geautomatiseerde verwerking waaronder profilering (art. 22 AVG) en het recht op rectificatie (art. 16). Ook regels in verband met de GEB zijn relevant (art. 35 AVG). Deze maatregelen dienen om lage betrouwbaarheid – of althans de gevolgen daarvan – te voorkomen.

• Consumentenrecht

Zowel de Richtlijn Digitale Inhoud als de Richtlijn Consumentenkoop voorzien uitdrukkelijk in de verplichting om de updates te bieden die de consument zou mogen verwachten.

• Cyberveiligheid

De definitie van ‘beveiliging van netwerk- en informatiesystemen’ in Richtlijn 2016/1148 wijst op de resiliëntie, maar niet noodzakelijk op de betrouwbaarheid van het AI-systeem als dusdanig. Andere normen zijn dus nodig om dit kader aan te vullen.

• Algoritmische handel

De MiFiD II-wetgeving voorziet uitdrukkelijk in de verplichting om doeltreffende regelingen te treffen om o.a. de continuïteit van de dienstverlening te verzekeren in geval van stortingen. Indien een AI-systeem beperkte betrouwbaarheid toont, is dit voorzien. In Gedelegeerde Verordening 2017/589 kan o.A. worden verwezen naar de in afdeling II vooropgestelde controlemethoden.

Vereist het AI-systeem permanent (online) leren? Werd rekening gehouden met mogelijke negatieve gevolgen doordat het AI-systeem nieuwe of ongebruikelijke methoden heeft geleerd om goed te scoren op zijn objectieve functie?

• Productveiligheid

Ook hier moet naar de algemene veiligheidsverplichtingen worden verwezen (art. IX.8 WER). Gedurende de levenscyclus van het AI-systeem moet er worden gewaakt over de vraag of het AI-systeem doet wat het moet doen op de correcte manier. De vraag rijst naar hoe dit in de praktijk dient te worden omgezet. Een belangrijk element hiervan zal zijn dat de code van AI-systemen te allen tijde transparant is. Zie hierover ook de bespreking onder Ethisch Vereiste 4: Transparantie. Transparantie, zgn. ‘uitlegbare’ AI, kan echter ook een belemmering voor innovatie zijn. Een gepast evenwicht tussen transparantie en functionaliteit is dan ook nodig.

Convergentie en coherentie tussen de verschillende veiligheidsregimes

Eén van de voornaamste kenmerken van (goed) technologiebeleid is technologieneutraliteit. De regels moeten kunnen worden toegepast in om het even welke technologische context en moeten bestand zijn tegen wijzigingen in de technologie.

In de diverse rechtsdomeinen die deze ethische vereiste ten uitvoer brengen, wordt dit op een redelijk adequate manier gerealiseerd. De veiligheidsstandaarden worden altijd gekoppeld aan begrippen als ‘passend’ en ‘veilig’, die op hun beurt worden gekoppeld aan de op het moment van de ingebruikname gekende risico’s. Deze aanpak – de Nieuwe Aanpak van de Europese Commissie – laat flexibiliteit toe: de algemene regels verwijzen naar standaarden die vanuit de markt worden opgesteld. Dit laat toe dat entiteiten met expertise de verdere standaarden waar nodig uitbouwen om veiligheidsrisico’s op te vangen. Dit is niet noodzakelijk gebonden aan het product zelf.

Door doorgedreven digitalisering en het gebruik van AI-systemen is een verdergaande convergentie tussen regimes noodzakelijk. Meerdere (veiligheids)regimes zijn van toepassing op fysieke (lichamelijke) producten en dus op AI-systemen die in hardware zijn ingebed. Het cyberveiligheidsregime is vooral gericht op het verhinderen van externe aanvallen. Het onderscheid op grond van het type product, en niet het risico, lijkt echter arbitrair. Verder staan de normering en certificatie voor ICT-systemen in het algemeen en voor AI-systemen in het bijzonder nog in hun kinderschoenen (hoewel er binnen ISO al heel wat werk wordt verricht). Slechts enkele specifieke regimes zoals de regels inzake medische hulpmiddelen en algoritmische handel voorzien in regels die deze convergentie volgen.

Het regelgevend regime voor veiligheid moet de huidige digitale en AI-gedreven realiteit volgen. Voorlopig is dit enkel van toepassing voor sommige toepassingen, zoals algoritmische handel. Sommige initiatieven zijn reeds onderweg, zoals de Richtlijn Digitale Inhoud en de Richtlijn Consumentenkoop. Verdere ontwikkeling van de andere regimes is vereist, waarbij de basis van de Nieuwe Aanpak behouden moet blijven om flexibiliteit en rechtszekerheid te garanderen. Interdisciplinaire samenwerking tussen industrie en academische instellingen rond certificering van AI-systemen is ook nuttig.

Er zijn weinig tot geen failsafe-methodes als vereiste of manieren om als consument een rechtzetting te vereisen. Het is prioritair dat er, net zoals bij algoritmische handel, criteria worden ontwikkeld die bepalen wanneer een failsafe- of kill-knop nodig zijn. Indien de AVG van toepassing is, kan een betrokkene zijn recht op bezwaar uitoefenen tegen uitsluitend op geautomatiseerde verwerking waaronder profilering. Aangezien het beperkt is tot natuurlijke personen betekent dit dat bedrijven geen bezwaar kunnen uitoefenen indien een beslissing automatisch werd gemaakt die juridische gevolgen heeft. Deze gevolgen zijn vandaag al aanwezig in de automatische censuur van bedrijven zoals Facebook in hun strijd tegen fake news.

Toegang tot technische normen

Een ander verbeterpunt betreft de toegang tot normen en standaarden. Normen en standaarden zijn voor ontwikkelaars essentieel om te weten aan welke eisen hun producten of diensten moeten voldoen. Deze standaarden zijn beschikbaar tegen betaling via kanalen zoals de NBN-webshop. Deze kosten kunnen voor sommige ontwikkelaars prohibitief worden. Het lijkt dus aangewezen om meer toegang te voorzien tot technische normen en regelgeving, naar analogie met de mogelijkheid om het Belgisch recht te raadplegen. Dit kan zowel via private initiatieven (databanken) als via regulering.

Grote verantwoordelijkheid bij de gebruiker

Er zijn verschillende informatie-, waarschuwings- en veiligheidsplichten ten aanzien van gebruikers. Daarbij bestaat het risico dat de gebruikers overweldigd worden door de (hoeveelheid) informatie, waardoor ze hun rechten niet altijd zullen/kunnen uitoefenen. Bovendien is de eindgebruiker vaak een leek en moet dus worden nagedacht over manieren waarop de bescherming van de gebruiker efficiënt(er) kan worden georganiseerd.

Verduidelijking juridische concepten

Er is nood aan een aanvulling, aanpassingen of verduidelijking van het toepasselijke wetgevende kader. Het begrip ‘product’ verwijst in de toepasselijke wetgeving niet expliciet naar software. Los van de vraag naar de uiteindelijke kwalificatie van software is het alvast aangewezen dat hier binnen korte termijn duidelijkheid over komt. Een gelijkaardig probleem stelt zich met betrekking tot het begrip ‘gebrek’ en de legitieme veiligheidsverwachtingen van het grote publiek met betrekking tot AI-systemen.

Ga naar onze tools pagina