Words from another mouth

“Words from another mouth” is an interactive work that through digital poetry and an untraditional form of interaction lets people experience the pandemic from new angles. Visitors to the website see a picture of themselves through their webcam. As soon as they open their mouths, words from someone else's perspective begin to fall out, eventually forming small poems, thoughts and texts about being there during a pandemic. The visitor can change the perspective of the text, by tapping other faces and mouths at the bottom of the screen.

Try it here (all text in Danish): netlitteratur.dk/ordfraenandensmund

Om værket (DK)

“Ord fra en andens mund” er et interaktiv værk, der gennem digital poesi og en utraditionel interaktionsform lader folk opleve pandemien fra nye vinkler.

Besøgende på hjemmesiden ser et billede af dem selv gennem deres webkamera. Så snart de åbner munden, begynder ord fra en andens perspektiv at falde ud, og danner efterhånden små digte, tanker og tekster om at være til under en pandemi. Den besøgende kan skifte tekstens perspektiv, ved at trykke på andre ansigter og munde nederst på skærmen.

Værket virker kun for én person ad gangen, og er lavet til desktop, og dermed ikke smartphones eller mobiltelefoner.

Værkets tekster

Oprindeligt skulle en menneskelig forfatter have skrevet alle projektets tekster, men forfatteren valgte at forlade projektet før tid. I stedet for at hyre en ny forfatter, blev det besluttet at få alle tekster genereret af en kunstig intelligens, og dermed spare pengene til et andet projekt i fremtiden.

Projektets forfatter er dermed algoritmen GPT-3, der ud fra korte instruktioner forsøger at skrive tekster om hvordan kassemænd fra Netto, længselsfulde teenagere, datinglystne modne kvinder, dagbogsskrivende børn og rebelske katte oplever en global pandemi. Du kan læse mere om hvordan GPT-3 fungerer her.

Værkets billeder

Alle billeder er ligeledes genereret ved hjælp af algoritmen StyleGAN, der fungerer ved at kunne skabe nye unikke syntetiske billeder ud fra et datasæt af “rigtige” billeder. Disse personer og dyr findes heller ikke i den fysiske verden. Du kan læse mere om hvordan StyleGAN fungerer her.

Ansigtstracking

Projektet benytter algoritmen FaceMesh til at tracke besøgende ansigter, og ud fra læbernes position estimeres det, om de besøgende har åbnet deres mund eller ej. Du kan læse mere om FaceMesh her.

Ordenes bevægelser

Endelig benyttes JavaScript software bibliotekerne Matter.js og p5.js til at give ordene tyngde og masse, når de falder ud af munden på de besøgende. Du kan læse mere om Matter.js her og p5.js her.

Credits

Projektet er udviklet af kunstner og interaktionsdesigner Andreas Refsgaard samt Martin Campostrini og Ulla Hoberg Lyhne fra Roskilde Bibliotek.