Zomerblog: Experimenteren met AI & Culturele Erfgoed data.
19.07.2022
Deze blog werd opgesteld door de Collectie van de Gentenaar. Het project onderzoekt het potentieel van gedigitaliseerd cultureel erfgoed voor het bevorderen van de sociale cohesie en inclusie op stedelijk niveau, op co-creatieve en participatieve basis.
Eén van de belangrijkste acties om dit doel te bereiken is de opzet van het cocreatiefonds. Dit subsidiefonds steunt projecten die op een nieuwe en creatieve manier gedigitaliseerd cultureel erfgoed hergebruiken. Erfgoed dat digitaal beschikbaar is via onze online collectie, data.collectie.gent, of rechtstreeks kan aangesproken worden via de APIs en/of Linked Data stromen.
Wat blijkt? Alle 5 technologisch gedreven projecten, die rechtstreeks met de Linked Data aan de slag gaan, verwijzen naar het gebruik van AI, terwijl dit geen harde voorwaarde of vereiste was. Dat lijkt ons het ideale voer voor deze zomerblog. We laten de indieners hun project voorstellen en stellen hen drie vragen over het gebruik van artificiële intelligentie.
Stel jouw project kort even voor, hoe het gedigitaliseerd cultureel erfgoed gebruikt en wat er de rol is van AI:
Wouter Devriese - De Gentse rol van de WC:
Om de erfgoedcollectie op een toegankelijke en ludieke wijze voor te stellen, ga ik unieke wc-rollen creëren met kunst en erfgoed erop. Aan de hand van een installatie zullen er ter plaatse in de musea wc-rollen bedrukt worden met daarop per wc-rol verschillende werken uit de collecties. Nu, de erfgoedcollectie is zeer divers, printen zal waarschijnlijk maar in één kleur kunnen gebeuren. Daarom ga ik AI modellen gebruiken om de complexiteit van sommige kunstwerken (denk schilderijen, foto's, ...) te verminderen, door er bijvoorbeeld lijntekeningen van te maken.
Laure Van Medegael - Once Upon AI:
Once upon AI creëert nieuwe verhalen op basis van stukken uit de Collectie van de Gentenaar. De Nerdlab community en andere geïnteresseerden gaan hiervoor aan de slag met het natural language model GPT-3. Vooral om collectiestukken automatisch te gaan identificeren en naast de bestaande beschrijving er nieuwe, fictieve, verhalen over te schrijven.
Dieter De Witte - Linked ARTeveldestad:
Het project Linked ARTeveldestad probeert mensen naar buiten te lokken aan de hand van de Collectie van de Gentenaar. We pakken dit aan door een volledig gepersonaliseerde navigatie-app te ontwikkelen die wandel- en fietspaden genereert langs erfgoed, monumenten en andere interessante plekken in Gent. Aan de hand van AI (computervisie) willen we nieuwe verbanden zoeken tussen de kunstwerken en aldus de collectie te verrijken. Zo hopen we bijvoorbeeld volautomatisch een ‘bloemenroute’ te kunnen genereren.
Lucas Desard - De interactieve photobooth:
Dit is een project om mensen op een innovatieve manier in contact te laten komen met het cultureel erfgoed en historische figuren. Onze faceswapping AI gaat met een foto van de gebruiker en een gekozen portret-schilderij uit de Collectie van de Gentenaar aan de slag om de gebruiker in het schilderij te faceswappen. Hierbij proberen we om de stijl van het beeld zo goed mogelijk te bewaren. Zoals je op onderstaand voorbeeld kan zien.
Jan Everaert & Joni De Borger - Collage van Gent:
We laten mensen de collectie exploreren op basis van hoe een AI de objecten van deze collectie beschrijft, waarna ze een gekozen object kunnen toevoegen aan een gemeenschappelijke collage. Hoe AI naar de collectie kijkt kan soms heel accuraat en beschrijvend zijn, maar soms kom je tot onverwachte antwoorden. We linken de antwoorden aan elkaar met behulp van kernwoorden en een Word2Vec model om dit doorzoekbaar te maken. Door AI op deze manier in te zetten bouwen we inhoudelijke relaties op tussen de elementen van de collectie los van stijl en vorm, iets wat voor het menselijke oog moeilijk is.
Het gebruik van AI was nochtans geen verplichting bij automatisch hergebruik in het cocreatiefonds. Vanwaar dan de keuze om AI te gebruiken?
Gentse rol van de WC: Ik ga de installatie zelf laten kiezen welke werken uit de collectie gebruikt zullen worden, daardoor weet ik op voorhand dus ook niet hoe die afbeeldingen eruit gaan zien. Ik hoop dus dat AI me kan helpen om de grote verscheidenheid aan cultureel erfgoed eenvoudiger voor te stellen opdat ze op een WC-rol afgedrukt kunnen worden.
Once upon AI: Voor ons biedt AI de mogelijkheid om de grootte, variatie en diversiteit van en binnen de collectie optimaal te benutten. Wij zijn vanuit Nerdlab ook getriggerd door de mogelijkheden die deze technologie biedt en net dat wil de community verder uitpluizen en onderzoeken.
Linked ARTeveldestad: Computervisie en Linked Data zijn de expertises van ons onderzoeksteam. Het is ook mijn rol binnen IDLab om op de doorsnede tussen erfgoed en A.I. vernieuwende toepassingen uit te werken.
Interactieve photobooth: AI is simpelweg voorlopig de enige manier om op schaalbare manier aan faceswapping te doen en dus een cruciaal onderdeel van onze applicatie.
Collage van Gent: AI kan een kinderlijk onschuldige positie innemen als het gaat over het beschrijven van voorwerpen. Dit maakt de exploratie van de collectie ook een inzicht in hoe AI naar de wereld kijkt, en werkt de bezoeker samen met het model om de collectie te doorzoeken.
Wat lijkt jullie de grootste uitdaging rond het implementeren van AI?
Gentse rol van de WC: Er zijn er vele, maar specifiek voor deze installatie zou ik de keuze leggen op: waar werkt mijn AI model? Draait het ergens in de cloud en heb ik dus continu een goede verbinding nodig? Of draait het lokaal en dien ik ervoor te zorgen dat de installatie krachtig genoeg is om de AI te laten werken? Daar ben ik zelf nog niet aan uit.
Once upon AI: Op dit moment denken we vooral na over hoe we de AI kunnen representeren naar het publiek toe? Hoe visualiseren we de uiteindelijke resultaten? Daar zijn we zelf ook nog zoekende.
Linked ARTeveldestad: Er is een groot verschil tussen een model te trainen (in een notebook en met supercomputer) en het gaan deployen in een productie-setting. AI-onderzoekers zijn minder vertrouwd met productiewaardige applicaties, alsook een goede gebruikerservaring. Deze vaardigheden zijn minder aanwezig in de AI-curricula en e-Learningplatformen.
Interactieve Photobooth: In ons project zal de grootste uitdaging zijn om alles werkende te krijgen op een kleine 'edge' computer. Deze bevat namelijk een minder krachtige GPU dan een volwaardig desktop computer en de AI modellen die we gebruiken zullen geoptimaliseerd moeten worden voor deze specifieke hardware om een vlot gebruik van de applicatie te kunnen garanderen.
Collage van Gent: AI is een snel evoluerend vakgebied en de laatste jaren zijn er veel krachtige tools erg toegankelijk geworden. Deze tools kunnen interessante resultaten opleveren, maar de complexiteit blijft om deze op de juiste manier in te zetten en de juiste rol te geven binnen een groter project als dit. Wij lossen dit op door AI op een creatieve manier in te zetten en op een speelse manier gebruik te maken van de gebreken. AI ziet dingen op een andere manier dan wij. De grootste uitdaging zit erin om een interessante balans te vinden tussen betekenisvolle toevoegingen en quirky gebreken en dat te vertalen naar een uniform systeem.
Wat denk je dat AI als maatschappelijke meerwaarde kan bieden binnen digitale collecties?
De Gentse Rol van de WC: Volgens mij kan AI linken leggen op een manier dat mensen dat niet zouden doen, of veranderingen die mensen zich niet zouden kunnen voorstellen. AI kan een filmische overgang genereren tussen twee kunstwerken dat we als mens niet kunnen voorstellen, AI kan ervoor zorgen dat we beter te weten komen waarom sommige objecten ons aanspreken, wat dit over onszelf zegt en dit juist doordat hele collecties gedigitaliseerd zijn. Het zijn boeiende tijden!
Once upon AI: Voor ons ligt de grootste meerwaarde op verbanden leggen en context geven aan die foto's en objecten. We kunnen dan informatie, interpretaties en associaties van bepaalde elementen snel en compleet weergeven.
Linked ARTeveldestad: Collecties worden nu typisch door mensen beschreven. De tijd van de annotator is evenwel kostbaar waardoor enkel de meest logische annotaties worden gemaakt. AI kan dit werk deels overnemen en met duizelingwekkende snelheid al is het zeer uitdagend om bestaande modellen opnieuw te trainen voor kunst en erfgoed. Ik geloof sterk in de wisselwerking tussen mens en AI.
Interactieve Photobooth: AI wordt in onze applicatie voornamelijk gebruikt als nieuwe, speelse vorm van erfgoedontsluiting en erfgoedbeleving, meer bepaald voor het personaliseren van een erfgoedcollectie en het creëren van gepersonaliseerde souvenirs. Daarnaast kan het in deze context ook gebruikt worden voor educatieve doeleinden bv. een interessante manier om kinderen met geschiedenis in aanraking te laten komen.
Collage van Gent: Het interpreteren van een digitale collectie op een manier waar wij als bezoekers vaak niet aan denken, op grote schaal. De collectie is zo breed dat ze voor een bezoeker niet in een oogopslag te overzien valt. AI kan helpen dit op een andere manier te organiseren en een nieuwe inkijk of benadering bieden tot de collectie.
Bedankt aan alle indieners voor hun interessante antwoorden!
Deze blogpost blijft natuurlijk maar een voorsmaakje van de projecten die op 17 juni van start zijn gegaan, tegen 3 juni 2023 ten laatste zullen de eindresultaten te zien zijn op het ‘Open Cultuur festival’ van de Collectie van de Gentenaar. Je kan meer over de verschillende projecten en het cocreatiefonds lezen op https://www.collectie.gent/nieuws/cocreatiefonds-12-geselecteerde-projecten
De Collectie van de Gentenaar is een Europees innovatie project binnen het Urban Innovative Actions (UIA) programma, een initiatief van Stad Gent, Design Museum Gent, STAM, Huis van Alijn, Industriemuseum, Universiteit Gent, District09, Inuits, Meemoo, Fisheye, iDROPS, Studio Dott & Chase Creative.
Auteurs
Pieter-Jan Pauwels
Innovation Lead at District09 & Strategic Coordinator at the Collections of Ghent project
Diederik Decroix
Event & Communication Lead Foresight Team at District09
Het Kenniscentrum is niet verantwoordelijk voor de inhoud van de blogposts die verschijnen in onze 'Zomer'-serie en zullen dan ook niet over de inhoud corresponderen. Bij vragen, opmerkingen of bedenkingen: contacteer de auteur(s)!
Lees onze volledige disclaimer hier.