South Korea – Conviction of chatbot developer by data protection authority

South Korea's Personal Information Protection Commission (PIPC) in April 2021 imposed sanctions and a fine of KRW 103.3 million (approx. €77 000) on Scatter Lab, Inc, developer of the chatbot ‘Iruda’, for various violations of the Personal Information Protection Act (PIPA). This was the first time the PIPC had sanctioned an AI technology company for unlawfully processing personal data.

For a full summary on this topic, please consult the Dutch version of this web page. 

(c) Scatter Lab

Welke inbreuken werden vastgesteld?

• Geen anonimsering of pseudonimisering (encryptie) van trainingsgegevens: Uit het onderzoek van de PIPC bleek dat Scatter Lab tussen februari 2020 en januari 2021 berichten uit KakaoTalk, een populaire Zuid-Koreaanse messaging-app, gebruikte die door haar apps "Text At" en "Science of Love" waren verzameld om de chatbot Iruda mee te ontwikkelen. Ongeveer 9,4 miljard KakaoTalk-berichten van 600.000 gebruikers werden gebruikt om de algoritmes van het onderliggende AI-model van Iruda te trainen. ScatterLab ano- of pseudonimiseerde (bv. door encryptie) de persoonsgegevens van gebruikers, waaronder hun namen, mobiele telefoonnummers en adressen, echter niet. Daarenboven werden 100 miljoen KakaoTalk-berichten van vrouwen in de twintig toegevoegd aan de responsdatabase en werd Iruda geprogrammeerd om deze berichten te selecteren en te gebruiken in antwoorden.
• Clausule uit algemene voorwaarden ≠ expliciete toestemming: Ter rechtvaardiging van dit verder gebruik van KakaoTalk-berichten om Iruda te trainen en te doen functioneren, gebruikte Scatter Lab een clausule uit de algemene voorwaarden van de apps Text At en Science of Love die het haar toeliet om nieuwe diensten te ontwikkelen. De PIPC oordeelde echter dat het opnemen van een dergelijke clausule in algemene voorwaarden en de bijhorende aanvaarding niet neerkwam op een uitdrukkelijke toestemming van de gebruiker. De beschrijving van wat er onder de ontwikkeling van nieuwe diensten zou kunnen vallen, werd ontoereikend geacht om gebruikers te laten verwachten dat hun KakaoTalk-berichten zouden worden gebruikt voor de ontwikkeling en exploitatie van een chatbot.
• Doeloverschrijding: Bijgevolg stelde de PIPC dan ook vast dat de bovengenoemde verwerking van persoonsgegevens door Scatterlab de initiële doelomschrijving overschreed.
• Onwettige bekendmaking van persoonsgegevens: Bovendien plaatste Scatter Lab haar AI-modellen van oktober 2019 tot januari 2021 op Github (een online platform voor het delen van codes en samenwerking) inclusief 1.431 KakaoTalk-berichten waarin 22 namen, 34 locaties, geslacht en relaties (vrienden of romantische partners) van gebruikers werden onthuld. Volgens de PIPC is dit in strijd met artikel 28-2, lid 2, van de Koreaanse gegevensbeschermingswet, waarin staat: "Een verwerkingsverantwoordelijke mag bij het verstrekken van gepseudonimiseerde informatie aan een derde partij geen informatie opnemen die kan worden gebruikt om een bepaalde persoon te identificeren."
• Gebrek aan leeftijdscontrole: Scatter Lab werd ook veroordeeld voor het verzamelen van persoonsgegevens van meer dan 200.000 kinderen jonger dan 14 jaar zonder ouderlijke toestemming bij de ontwikkeling en exploitatie van haar apps Text At, Science of Love en Iruda. Voor toegang te verkrijgen tot deze diensten werd er immers geen leeftijdscontrole uitgevoerd zodat ook jonge kinderen zich zomaar konden abonneren.

Tot slot is het nog interessant om te weten dat de PIPC actief AI-bedrijven ondersteunt door middel van (i) een checklist voor gegevensbescherming in AI-diensten aan te bieden ten behoeve van AI-ontwikkelaars en operatoren, en; (ii) on-site adviesverlening aan te bieden.