Zoals uitgelegd in onze vorige blogpost past het Open Loop-project voormelde design-methodologie toe. Het gebruik van beleidsprototypen wordt er beschreven als een snelle, goedkope manier om beleidsideeën te ontwerpen, uit te testen en om uit de feedback van gebruikers te leren of het idee moet worden verlaten of bijgestuurd, dan wel of erop kan worden voortgebouwd.
Het betrokken prototype werd opgesteld door Facebook en het Nederlandse technologieconsultancy-bureau Considerati en bouwt voort op de initiële uitwerking van een ADIA-kader (‘Automated Decision making Impacy Assessment’) door Facebook in haar antwoord op het Witboek Artificiële Intelligentie van de Europese Commissie. Interessant is dat de ADIA-prototypewet niet alleen een prototypewet in de strikte zin bevat, maar ook een prototype—handleiding (playbook). Dergelijke handleiding is een legal design-element dat de rechtsonderhorigen helpt bij het interpreteren en naleven van wettelijke verplichtingen. In dit geval door een stapsgewijze risicobeoordelingsmethode, een lijst van relevante waarden, een taxonomie van vormen van schade, en een lijst van beperkende maatregelen te verstrekken. Beide prototypes werden uitgewerkt met als doel getest te worden en opmerkingen en/of beleidsaanbevelingen uit te lokken.
Het ADIA-prototype werd getest door tien Europese technologie-start/scale-ups op de volgende criteria:
- Beleidsbegrip: begrijpt het doelpubliek van de norm werkelijk wat er van hen gevraagd wordt?
- Beleidseffectiviteit: draagt het beleid (de prototypewet) werkelijk bij tot het beleidsdoel?
- Beleidskosten: wat zijn de kosten van naleving en toezicht? Zijn er externaliteiten of onbedoelde neveneffecten (waaronder maatschappelijke neveneffecten)?
Kort samengevat vonden de deelnemers dat de prototypewet duidelijk genoeg was om er een basisinzicht in te krijgen, maar vonden ze onder meer ook dat de beschrijving van de betrokken actoren verwarrend was. Dit zou een duidelijke aflijning van verantwoordelijkheden in de praktijk kunnen beletten. Wat de effectiviteit betreft, werd besloten dat sommige vereisten uitdrukkelijker zouden moeten worden geformuleerd en dat de handleiding baat zou hebben bij een verdere uitwerking, zodat deelnemers de doelen van de prototypewet beter (of zelfs volledig) konden vervullen. Ten slotte vermeldt het rapport dat het uitvoeren van een ADIA de deelnemers kostengewijs niet overbelastte. Een belangrijke genoemde factor daartoe is de overlapping tussen de voorgestelde ADIA en de gegevensbeschermingseffectbeoordeling of DPIA zoals voorzien in de Algemene Verordening Gegevensbescherming of AVG.