De Trustworhy AI Assessment Tool

De AI4Belgium Ethics & Law Board organiseerde onder begeleiding van Humix workshops om een gebruiksvriendelijkere versie van de ALTAI te maken. Het specifieke doel was om een concept te maken van een online tool die door projectteams gebruikt kan worden om betrouwbare AI te ontwikkelen.

De tool heeft de volgende vereisten:

• Illustratief: de tool geeft voorbeelden en duidelijke definities.

• Pro-actief: de vragen zijn zo geformuleerd dat ze het team stimuleren om vooruit te kijken (in plaats van achteraf te vragen of ze aan bepaalde vereisten voldoen).

• Iteratief: antwoorden op vragen kunnen worden aangepast naargelang de fases van het project (voorbereiding, uitvoering, gebruik).

• Collaboratief: de vragenlijst vraagt een multidisciplinaire aanpak waarbij verschillende rollen informatie kunnen toevoegen op een asynchrone manier.

• Informatief: de tool biedt ondersteuning over hoe teams tot antwoorden en oplossingen kunnen komen.

• Documentatief: alle beslissingen en antwoorden worden real-time bijgehouden en er kan elk moment een rapport worden opgevraagd.

• Gebruiksvriendelijk: de tool moet intuïtief en makkelijk te gebruiken zijn.

Functionaliteiten

Een belangrijk inzicht van de workshops die AI4Belgium organiseerde met AI-teams was de nood om het werk collaboratief te maken. Heel concreet werd deze eis omgezet naar een online planner waar mensen hun profiel kunnen maken en aangeven op welke vragen van de ALTAI zij een antwoord zouden kunnen geven. In de tool kan je de volgende functionaliteiten vinden:

• Persoonlijke overzichtspagina en verantwoordelijkheden per project

• Kanbanbord met taken per principe en per fase van het ontwikkelingsproces

• Taken zijn aanklikbaar en bevatten voorbeelden, aanbevelingen en ruimte voor notities en opmerkingen

• Algemene checklist waar de progressie en conclusies per principe kunnen worden bijgehouden

• Algemeen overzicht met een spiderweb om in één oogopslag te zien hoe het er voor staat

• Mogelijkheid om een rapportering te downloaden

VangrAils

Tijdens de legal design workshop van het Kenniscentrum Data & Maatschappij heeft een groepje gewerkt aan een stresstest voor bedrijven en overheden bij het gebruik van AI of datagedreven toepassingen. Net als de tool van AI4Belgium moet deze stresstest organisaties toelaten om hun toepassing in een concrete situatie te toetsen aan het juridisch en sociaal-ethisch kader van de AI HLEG principes.

Aan de hand van verschillende legal design oefeningen kwam de oplossing ‘VangrAils’ tot stand. Het idee is een interactieve webapplicatie waar business managers kunnen aangeven welke waarde zij hechten aan ieder principe en een self-assessment lijst die peilt of de principes worden nageleefd. Op basis van deze twee zaken stelt de applicatie een visuele weergave voor van bij welk principe verbetering nodig is en of er acties genomen moeten worden. De applicatie gaat ook een stapje verder en stelt concrete acties, te contacteren experts, best practices, beschikbare templates en gidsen voor. VangrAils beschikt daarmee over de volgende functionaliteiten:

• Een bedrijfscharter waarin een prioritering van de principes kan worden aangeduid voor een specifiek project

• Een checklist waar per principe kan worden nagegaan in hoeverre je daaraan voldoet

• Algemeen overzicht met een spiderweb om in één oogopslag te zien hoe het er voor staat

• Een advies met concrete te nemen acties om te voldoen aan de principes, inclusief hulpmiddelen en voorbeelden hoe daar aan kan worden voldaan.

Inzichten uit de workshop

Enkele inzichten die de werkgroep heeft opgedaan door het testen van het prototype:

1. de self-assessment lijst hoeft niet louter door de business manager te worden ingevuld, maar ook door bijvoorbeeld technologie ontwikkelaars en datawetenschappers,

2. er is een priotisering nodig van de te nemen acties (o.b.v. urgentie en relevantie),

3. en de mogelijkheid om de data te exporteren zodat dit onderdeel wordt van een Data Protection Impact Assessment (DPIA).

Verschillen & overeenkomsten

Beide tools focussen op het doorlopen van de checklist aan de hand van een spiderweb en duidelijke acties, hulpmiddelen en informatie per principe. Aan de ene kant presenteert VangrAils de principes in een online versie van een meer klassieke checklist, maar voegt de mogelijkheid tot prioritering toe voor personalisatie van specifieke projecten. Aan de andere kant legt de Assessment tool van AI4Belgium de focus meer op online en collaboratief takenbeheer en verzekert zo dat elke taak door iemand wordt opgenomen. Beide tools voorzien een visuele weergave van de stand van zaken tegenover de 7 ethische principes om zo aan te geven waar nog verdere acties nodig zijn. VangrAils suggereert ook een reeks te nemen acties indien blijkt dat dit nog vereist is bij een bepaald principe.

Reflectie

Het ontwikkelen van betrouwbare AI is een proces waar veel verschillende aspecten bij komen kijken en waar multidisciplinaire samenwerking vereist is. Er is zeker nood om dit proces overzichtelijk en gestroomlijnd te kunnen aanpakken. De ALTAI lijst biedt hierbij een eerste stap, maar is in de praktijk nog te log en te groot om goed bruikbaar te zijn. Beide tools laten zien dat een langdradige checklist in een andere vorm gebruiksvriendelijker en meer actionable kan worden gemaakt. Toch zijn er nog een aantal vragen waar de tools niet meteen een antwoord op kunnen bieden.

Hoe staat het bijvoorbeeld met de ‘betrouwbare AI geletterdheid’ van het projectteam dat aan de slag gaat met zo’n tool? Begrijpen zij wat de verschillende principes inhouden, waarom het belangrijk is om die na te streven en op welke manier ze daar rekening mee kunnen houden in hun dagelijkse werk? Als niet iedereen mee is met het belang en het gebruik van de tool, kan dat een obstakel zijn voor een goede samenwerking. Het gebruik van de applicatie is ook tijdsintensief wat een drempel kan vormen om de tool op een dagdagelijkse en gestructureerde manier te gebruiken.

Het is daarom belangrijk om, naast het aanbieden van een tool voor de checklist, ook na te denken over hoe je binnen de organisatie een transitie kan maken waarbij ethiek een centrale rol gaat innemen in de bedrijfsprocessen. Een digital ethicist kan bijvoorbeeld helpen om die transitie in gang te zetten en eventueel bewaker te zijn van de tool. Zo kan je zorgen dat iedereen mee is met het verhaal rond betrouwbare AI en begrijpt waarom het gebruik van een dergelijke Assessment Tool for Trustworthy AI relevant is en hoe dit te gebruiken.