Zuid-Korea – Veroordeling van chatbot-ontwikkelaar door gegevensbeschermingsautoriteit

Zuid-Korea – Veroordeling van chatbot-ontwikkelaar door gegevensbeschermingsautoriteit

De Zuid-Koreaanse Personal Information Protection Commission (PIPC) heeft in april 2021 sancties en een boete van 103,3 miljoen KRW (ca. €77 000) opgelegd aan Scatter Lab, Inc., ontwikkelaar van de chatbot "Iruda", wegens verschillende overtredingen van de wet op de bescherming van persoonsgegevens (Personal Information Protection Act, PIPA). Dit was de eerste keer dat de PIPC een AI-technologiebedrijf een sanctie oplegde wegens het onwettig verwerken van persoonsgegevens.

Samenvatting

In januari 2021 veroorzaakte de door Scatter Lab Inc. ontwikkelde chatbot "Iruda" veel ophef in Zuid-Korea na klachten van vulgair, discriminerend, racistisch en homofoob taalgebruik in gesprekken met gebruikers. De chatbot, die de gedaante aannam van een 20-jarige student met de naam "Iruda", trok minder dan een maand na de lancering al meer dan 750 000 gebruikers op Facebook Messenger. Als gevolg van de mediabelangstelling startte de PIPC een officieel onderzoek, waarbij ook het bedrijfsleven, de juridische en academische wereld en maatschappelijke actoren om input werd gevraagd door middel van een raadplegingsproces. Deze raadpleging polste naar de juridische en technische uitdagingen van de verwerking van persoonsgegevens voor de ontwikkeling van AI en AI-diensten.

(c) Scatter Lab

Welke inbreuken werden vastgesteld?

• Geen anonimsering of pseudonimisering (encryptie) van trainingsgegevens: Uit het onderzoek van de PIPC bleek dat Scatter Lab tussen februari 2020 en januari 2021 berichten uit KakaoTalk, een populaire Zuid-Koreaanse messaging-app, gebruikte die door haar apps "Text At" en "Science of Love" waren verzameld om de chatbot Iruda mee te ontwikkelen. Ongeveer 9,4 miljard KakaoTalk-berichten van 600.000 gebruikers werden gebruikt om de algoritmes van het onderliggende AI-model van Iruda te trainen. ScatterLab ano- of pseudonimiseerde (bv. door encryptie) de persoonsgegevens van gebruikers, waaronder hun namen, mobiele telefoonnummers en adressen, echter niet. Daarenboven werden 100 miljoen KakaoTalk-berichten van vrouwen in de twintig toegevoegd aan de responsdatabase en werd Iruda geprogrammeerd om deze berichten te selecteren en te gebruiken in antwoorden.
• Clausule uit algemene voorwaarden ≠ expliciete toestemming: Ter rechtvaardiging van dit verder gebruik van KakaoTalk-berichten om Iruda te trainen en te doen functioneren, gebruikte Scatter Lab een clausule uit de algemene voorwaarden van de apps Text At en Science of Love die het haar toeliet om nieuwe diensten te ontwikkelen. De PIPC oordeelde echter dat het opnemen van een dergelijke clausule in algemene voorwaarden en de bijhorende aanvaarding niet neerkwam op een uitdrukkelijke toestemming van de gebruiker. De beschrijving van wat er onder de ontwikkeling van nieuwe diensten zou kunnen vallen, werd ontoereikend geacht om gebruikers te laten verwachten dat hun KakaoTalk-berichten zouden worden gebruikt voor de ontwikkeling en exploitatie van een chatbot.
• Doeloverschrijding: Bijgevolg stelde de PIPC dan ook vast dat de bovengenoemde verwerking van persoonsgegevens door Scatterlab de initiële doelomschrijving overschreed.
• Onwettige bekendmaking van persoonsgegevens: Bovendien plaatste Scatter Lab haar AI-modellen van oktober 2019 tot januari 2021 op Github (een online platform voor het delen van codes en samenwerking) inclusief 1.431 KakaoTalk-berichten waarin 22 namen, 34 locaties, geslacht en relaties (vrienden of romantische partners) van gebruikers werden onthuld. Volgens de PIPC is dit in strijd met artikel 28-2, lid 2, van de Koreaanse gegevensbeschermingswet, waarin staat: "Een verwerkingsverantwoordelijke mag bij het verstrekken van gepseudonimiseerde informatie aan een derde partij geen informatie opnemen die kan worden gebruikt om een bepaalde persoon te identificeren."
• Gebrek aan leeftijdscontrole: Scatter Lab werd ook veroordeeld voor het verzamelen van persoonsgegevens van meer dan 200.000 kinderen jonger dan 14 jaar zonder ouderlijke toestemming bij de ontwikkeling en exploitatie van haar apps Text At, Science of Love en Iruda. Voor toegang te verkrijgen tot deze diensten werd er immers geen leeftijdscontrole uitgevoerd zodat ook jonge kinderen zich zomaar konden abonneren.

Tot slot is het nog interessant om te weten dat de PIPC actief AI-bedrijven ondersteunt door middel van (i) een checklist voor gegevensbescherming in AI-diensten aan te bieden ten behoeve van AI-ontwikkelaars en operatoren, en; (ii) on-site adviesverlening aan te bieden.