Het is zomer, de zon schijnt, en in het nieuws horen we over dalende aandelenkoersen van grote techbedrijven. Na de spectaculaire stijging door de recente AI-hype, beginnen beleggers te twijfelen aan de langetermijnwaarde van deze investeringen. Hoe de aandelenkoersen zich ook ontwikkelen, de plannen voor AI in de ErfgoedApp blijven op koers. De afgelopen jaren heeft AI zijn weg gevonden naar vrijwel alle sectoren, waaronder de cultureel-erfgoedsector. Hier draagt AI bij aan efficiëntere digitaliseringsprocessen en een betere collectieregistratie. Nu willen we het ook inzetten voor bezoekerstoepassingen.

Missie van de ErfgoedApp

Sinds 2015 is het de missie van de ErfgoedApp om informatie en verhalen over erfgoed op locatie aan een groeiend aantal gebruikers te delen. De app maakt daarbij gebruik van innovatieve technologieën zoals augmented reality (AR) en het Internet of Things (IoT). Als volgende stap wil FARO, samen met onze community van makers, ook AI integreren.

Het doel is een chatbot te ontwikkelen die extra informatie kan geven tijdens tentoonstellingen of erfgoedwandelingen. Ook bekijken we of het mogelijk is of we, daar waar de chatbot het antwoord niet weet, de community kunnen inschakelen om het juiste antwoord te geven volgens het ASK-principe. Zo bevordert de ErfgoedApp participatie en dialoog rond erfgoed en verlaagt hij de drempel om erfgoed beter te begrijpen en te ontdekken.

Inspiratie uit eerdere voorbeelden

AI heeft inmiddels zijn experimentele fase achter zich gelaten, zoals blijkt uit het succes van ChatGPT en andere AI-diensten. Samen met Musea Brugge onderzoekt FARO hoe chatbots kunnen worden ingezet tijdens erfgoedwandelingen. Hierbij laten we ons inspireren door eerdere projecten zoals The Voice of Art met IBM Watson in Brazilië, en de ASK-app van het Brooklyn Museum. Deze projecten laten zien hoe technologie kan helpen bij het beantwoorden van vragen en het betrekken van bezoekers.

Wat als een museum niet langer zelf bepaalt welke stops de audiogids maakt, maar bezoekers zelf de vragen laat stellen? De ASK-app van het Brooklyn Museum was hiervan een inspirerend voorbeeld. In eerste instantie beantwoordde een team de vragen. Nu, vele jaren later, hopen we via AI-technologie een deel van die vragen te beantwoorden via een chatbot. Toch moet het mogelijk blijven om, daar waar de chatbot het antwoord niet weet, vragen te stellen aan erfgoedexperten en vrijwilligers.

Een enorme troef van AI is de meertaligheid

De ErfgoedApp ondersteunt vijf talen, maar content creëren in al die talen is intensief voor onze makers community. Een van de belangrijkste troeven van AI is de meertaligheid. Eerdere tours in de ErfgoedApp hebben aangetoond dat Brugge de ideale plek is om die meertaligheid optimaal te testen. Door de achterliggende data en backstory in één taal te schrijven, kan er veel tijd gewonnen worden.

Met Text-to-Speech kunnen deze verhalen op termijn ook verhalend aan de gebruikers van de ErfgoedApp worden verteld. Een eerste test door een stagiair toonde aan dat de kwaliteit van de Nederlandse vertalingen, en in het bijzonder de specifieke aan erfgoed gerelateerde termen, nog niet volledig op punt staat. We verwachten wel dat deze technologie zich snel zal verbeteren, al zal het vertalen van specifieke termen en jargon nog een stevige uitdaging zijn.

Hallucinaties vermijden

We hebben het allemaal al eens gemerkt. Als we ChatGTP een vraag stellen waar we weinig over weten, zijn we onder de indruk van het antwoord. Als we echter doorvragen over een onderwerp waar we zelf expert in zijn, kan het antwoord soms tegenvallen of zelfs gewoon verzonnen zijn. Om fouten en 'hallucinaties' van de AI te vermijden, hanteren we een aantal strategieën:

1. Een heldere backstory: we schetsen duidelijk wat de chatbot wel en niet mag doen en hoe lang de antwoorden mogen zijn. Dit helpt de chatbot om bij het onderwerp te blijven. Goede praktijken voor het schrijven van deze backstories voor cultureel erfgoed willen we maximaal delen met collega’s.
2. Gedetailleerde beschrijvingen: we voegen een beschrijvend verhaal toe in de vorm van een PDF- of Word-bestand waarin we zoveel mogelijk informatie al meegeven. De chatbot gebruikt deze data in de antwoorden. Zo’n tekst kan bevoordeeld omschrijven hoe een schilderij eruit ziet en wie er allemaal op afgebeeld staat, waar die personen zich bevinden en eventueel ook op welk paneel ze te zien zijn.
3. Conversatie-analyse: de chatbot houdt de gesprekken bij, waardoor we de backstory en dataset continu kunnen verbeteren en eventueel uitbreiden met veelgestelde vragen.

Chatten met Oehoe, de erfgoedbuddy

Naast de specifieke chatbot die opduikt bij erfgoedlocaties of objecten in tentoonstellingen, willen we ook een meer algemene chatbot toevoegen aan de ErfgoedApp. Gebruikers kunnen chatten met Oehoe, de mascotte van de app. Het doel? Gebruikers begeleiden en informeren over erfgoed en de werking van de app. Door gebruik te maken van de geolocatie van de telefoon, kan de ErfgoedApp locatiegebonden informatie geven, wat de gebruikerservaring verder optimaliseert.

We werken hiervoor op dezelfde manier als met onze recent gelanceerde Boomerang tours. Dat zijn erfgoedwandelingen die automatisch worden gegenereerd op basis van de locatie van de gebruiker. Nadat de gebruiker zelf de grootte van de tour instelt (S, M, L, XL), genereert de ErfgoedApp een wandeltour. Om de erfgoed ‘points of interests’ (POI) te bepalen, maakt de app gebruik van het werk van de Open StreetMap-community (OSM). Een eigen ontwikkeld algoritme selecteert aan de hand van tags een aantal plekken in de buurt en geeft die in de ErfgoedApp weer als een kant-en-klare tour.

Deze POI’s willen we ook gebruiken om de chatbot beter af te stellen. Dat doen we voor een betere kwaliteit en om hallucinaties te vermijden. Tijdens een eerste onderzoek en test slaagde een informaticastudent, onder begeleiding van onze partner Heritage AI IDlab, erin om op basis van een dataset van erfgoedlocaties uit de ErfgoedApp een prototype te maken dat aantoont dat deze piste kan werken.

Waar eerdere versies van ChatGPT enkel konden antwoorden op vragen die in het Large Language Model (LLM ) zaten, kunnen deze AI-modellen steeds beter aangevuld worden met data die de chatbot live ophaalt (fetchen). Deze data zijn veelal Linked Open Data, maar ook websites kunnen geraadpleegd worden. Het interessante is dat de locaties van OSM ook gelinkt zijn aan Wikidata, waardoor ook Wikipedia artikelen kunnen worden opgehaald. Dit is ideaal om doelgericht de juiste informatie over die locatie te vinden.

Technologische vooruitgang en copyright issues

Tijdens de recente Apple Developers Conference zagen we interessante ontwikkelingen op het gebied van AI. Zo zijn er kleinere, geavanceerde LLM-modellen ontwikkeld die direct op smartphones kunnen draaien. Dit kan ervoor zorgen dat het gebruik van LLM-modellen sneller, goedkoper en toegankelijker wordt. Echter, voor deze technologieën breed inzetbaar zijn, moeten ze door zowel Apple als Google (Android) worden ondersteund en ook beschikbaar zijn op voldoende smartphones.

Daarnaast duiken er ook kwesties rondom auteursrechten en Europese regels op over het gebruik van AI. Dit voorjaar was FARO medeorganisator van een Europese conferentie over musea en AI, waar deze vraagstukken werden besproken.

De komende jaren beloven nog boeiende jaren te worden op het gebied van AI en cultureel erfgoed. Met de ErfgoedApp willen we deze technologie duurzaam en betekenisvol inzetten, en collega’s helpen en ondersteunen bij het gebruik ervan. De eerste realisaties in de app volgen dit najaar.