Landschaft sehen,
die Maschine Landschaft sehen lassen
die Maschine Landschaft schreiben lassen
Projektskizze:
Ziel des Projektes Nature Writing / Machine Writing ist mit verschiedenen Versuchsanordnungen herauszufinden, wie eine neue Form von Nature Writing aus dem Zusammenwirken von Schreibenden und Computern entstehen kann.
Konzeptionell interessieren mich die Implikationen einer Verbindung von Natur und Maschine, was können wir von digitaler Poesie über unser Verhältnis zur Natur lernen?
Was bedeutet Landschaft? Kann ich Texte der Sorte „Nature Writing“ schreiben ohne mich von meinem Computer fortzubewegen? Wer beobachtet die Landschaft? Kann die Maschine die Landschaft besser wiedergeben als ich? Entfremdet mich die Nutzung von Technologie bei der literarischen Auseinandersetzung mit Natur von der Landschaft? Habe ich durch die Maschine an meiner Seite eine neue Beziehung zur Landschaft? Wie verhält sich das Bild einer Landschaft in meinem Kopf zum Bild der Maschine? Kann die Maschine bisher Ungesehens sichtbar werden lassen?
Technische Werkzeuge:
Img2poem
Auf GitHub findet sich das neuronale Netzwerk, das im Paper ‟Beyond Narrative Description: Generating Poetry from Images” von B. Liu et al. beschrieben wird, 2018. (Hier ein Extralink zur PyTorch Implementation)
In dem Projekt wurde ein neuronales Netzwerk darauf trainiert Bilder nicht nur mit einzelnen Worten zu klassifizieren, sondern mit einem Gedicht. Dazu musste das Netzwerk lernen aus den Bildern poetische Hinweise zu ziehen, also zu entscheiden, welche zum Bild passenden Farbadjektive es beispielsweise mit metaphorischen Konzepten verbindet. Der erste Trainingskorpus (UniM-Poem) für das neuronale Netzwerk bestand aus 92.265 englischsprachigen Gedichten, die von Websites gescraped wurden. Der zweite Trainingskorpus (MultiM-Poem) bestand aus 34.847 Bild-Gedicht Paaren, die aus öffentlichen Flickr-Gruppen in denen Bilder mit Gedichten verbunden wurden, gescraped wurden und dann von fünf Literaturwissenschaft-sStudierenden auf Relevanz überprüft und auf 8.292 Kombinationspaare reduziert wurden.
Die generierten Gedichte sollten nicht nur in sich stimmig sein, sondern auch zu den Vorlagebildern passen. Deswegen wurden sie menschlichen Testpersonen zur Bewertung vorgelegt, um die Qualität des trainierten Netzwerkes zu evaluieren.
Für das Projekt Nature Writing / Machine Writing wurde das vortrainierte Img2Poem zur Generierung von Gedichten verwendet.
NVIDIA AI Playground:
Ich verwende zwei von Nvidia zur Verfügung gestellte Programme.
- Die GauGAN Anwendung wurde in Anlehnung an den franzöischen Maler Paul Gauguin benannt und erzeugt mit Hilfe eines neuronalen Netzwerkes (AI) Landschaftsbilder aus Zeichnungen, die in einem Malprogramm erstellt wurden.
- Image Inpainting erlaubt es Teile aus einem Bild zu löschen und die Leerstelle mit künstlich generiertem Bildinhalt füllen zu lassen.
Herzlichen Dank an Ernir Erlingsson für die technische Beratung und Unterstützung.