KI-Projekt: The AIghties Songbook

Den Ausgangspunkt des The AIghties Songbook-Projekts bildet die Frage: Kann KI auch Emotionen? Vorausgegangen war ein langes Gespräch mit meinem Galeristen. Angesichts des unerwarteten Verkaufserfolgs unserer CAISPAR-Ausstellung erklärte er mir, dass sich besonders emotionale Motive am besten verkaufen.

Emotionen im Prompt

In einer Kunstgalerie hätte ich das eigentlich nicht erwartet. Aber sobald diese Beobachtung im Raum steht, überlegt man natürlich, ob und wie man die emotionale Qualität in den Bildern der KI steuern kann. Kann eine KI Emotionen darstellen, auch wenn sie selbst keine hat? Im ersten Schritt ist es natürlich einfach: Man gibt im Prompt vor, dass eine Person lachen oder weinen, fröhlich oder traurig aussehen soll. Das funktioniert seit Mitte 2023 – zumindest in Midjourney – relativ gut und wirkt meist auch halbwegs glaubwürdig.

Aber wie sieht es mit dem visuellen Transport von weniger plakativen Emotionen aus? Also wenn es darum geht, mit leisen Zwischentönen Gefühle beim Betrachter anzusprechen.

Das Buch zum Projekt

Christoph Künne
The AIghties Songbook
Hardcover, 200g Bilderdruck matt, 210 x 297 mm, 134 Seiten, signierte 100er Auflage, 50 Euro
NUR BEI UNS IM WEBSHOP

Emotionstransporter

Nehmen wir zum Beispiel die Bildwelten von Albumcovern. Sie sind seit langem ein wichtiges Verkaufsinstrument der Musikindustrie. Ihre emotionale Wirkung ist schwieriger zu analysieren, weil es eine Mischung aus Kontexten, Stimmungen, zeitlichen Details, grafischen Elementen und vielen visuellen Anspielungen gibt, die eben nicht so einfach und konkret beschreibbar sind wie ein Lächeln. Und wie übersetzt man das als Prompt für eine KI? Mit dieser Frage habe ich mich tagelang ziemlich erfolglos herumgeschlagen, bis mir morgens im Halbschlaf eine Lösung einfiel: Emojis.

Die Übersetzung

Emojis sind für einen Computer das Äquivalent von Gefühlen und werden bevorzugt dann verwendet, wenn einem Menschen die Worte fehlen. Gleichzeitig sind Emojis für eine visuelle KI wie Midjourney verständliche Zeichen, genau wie Wörter. Zuerst verfolgte ich den Ansatz, die Inhalte der Songs als Emojis darzustellen und sie so in eine Art emotionales Plattencover zu verwandeln.

Dann wurde mir klar: Vielleicht sollte nicht ich als alter weißer Emoji-Analphabet die Umwandlung vornehmen, sondern besser eine Text-KI, die mit der Fülle der Zeichen und ihren Bedeutungen möglicherweise viel besser umgehen kann. Immerhin gibt es inzwischen international (je nach Zählweise) zwischen rund 950 und über 3300 offizielle Emojis. Deren geballte Ausdruckskraft brauchte die KI für die Musik, die ich zur Adaption vorgesehen hatte, erstaunlicherweise gar nicht: Die Top 10 der 80er lassen sich alle mit wenigen und oft sehr ähnlichen Emojis wiedergeben.

Eine Überraschung

Aber wenn man sich beim Prompten auf Emojis beschränkt, ist deren Wirkung auf das Bild – sagen wir mal – seltsam. Ein oder zwei Emojis funktionieren sehr gut und die Umsetzungen sind oft sehr kreativ. Bei drei Emojis wird es schon erratischer und danach wird es ziemlich schnell mysteriös. Ab vier Emojis zeigen die Bilder sehr häufig kitschige Fantasy-Porträts oder sich selbst inszenierende, vorzugsweise asiatische Jugendliche in Selfie-Ästhetik.

Da alle meine Emoji-Umsetzungen mindestens sechs Emojis enthielten, war es im Sinne der Albumcover-Idee zielführender, die KI zunächst aus den Inhaltsanalysen der Songtexte bildliche Umsetzungen generieren zu lassen und diese dann mit den Emojis der Textinhalte zu kombinieren. Klingt komplex? Ist es vielleicht auch. Schauen wir uns ein Beispiel aus der Praxis an.

Ein Beispiel: Cindy Lauper – Girls just want to have fun

Grundlage für das Prompt-Experiment ist dieser Song aus dem Jahr 1983, der (laut ChatGPT) auf Platz 6 der Top 10 der 80er steht. Obwohl ich es stellenweise auswendig mitsingen kann, habe ich mir nie Gedanken darüber gemacht, worum es in dem Lied eigentlich geht. Als ich ChatGPT fragte, was das Lied ausmacht, erklärte es mir folgendes:

»Ein lebhafter und ikonischer Pop-Song, der die Freude und das Recht von Frauen auf Freiheit und Vergnügen betont. Es hat sich zu einer Hymne für weibliche Selbstbestimmung und Unabhängigkeit entwickelt. Der Song kritisiert subtil die gesellschaftlichen Erwartungen an Frauen und plädiert für das Recht, das Leben zu genießen, ohne sich von traditionellen Rollenbildern einschränken zu lassen. Es geht um Empowerment, Gleichheit und den einfachen Wunsch, Spaß zu haben.
Positiv: Der Song strahlt Freude, Spaß und Energie aus und feiert die Unbeschwertheit.
Empowerment: Er vermittelt ein starkes Gefühl des Empowerments und der Selbstbestimmung.
Befreiend: Das Lied hat eine befreiende Botschaft, die Frauen ermutigt, ihre Freiheiten zu leben und zu genießen.«

Chat GPT

Übersetzt in Emojis sieht das dann so aus:
??✨???
Hier eine Übersetzungshilfe:
? (Tanzen)
? (Feiern)
✨ (Magie/Spaß)
? (Weiblichkeit)
? (Musik)
?‍ (Freundschaft)

Um ein Gefühl für das Prompten nur mit Emojis zu bekommen, kopiere ich zunächst einfach die Piktogramme in den Prompt. Auch nach mehreren Durchläufen entstehen so gemalte Phantasieportraits wie dieses.

Um nun einen aussagekräftigeren Prompt zu formulieren, kommt wieder ChatGPT ins Spiel: Ich lasse es den Inhalt des Liedes in eine Auswahl von Bildszenen übersetzen und wähle dann die für mich interessanteste aus:

»a scene where a group of joyful women gather to dance and celebrate in a colorful, vibrant space filled with decorations and lights. Each individual exudes joy and confidence, with their movements symbolizing freedom and carefreeness. The scene is peppered with symbols of femininity and empowerment, including musical instruments to highlight the role of music as a means of expression. This depiction aims to capture the core messages of Girls Just Want to Have Fun: fun, independence, and the celebratory expression of one‘s identity«

Auffällig an diesem Prompt ist vor allem seine Ausführlichkeit. Typisch für ChatGPT und eigentlich jenseits dessen, was Midjourney derzeit wortwörtlich verarbeitet. Die Ergebnisse setzen den Text zwar größtenteils um, können mich aber so noch nicht wirklich überzeugen.

Auch mit dem Zusatz »a modern art photograph«, der die Bildrichtung vorgeben soll, wird es noch nicht viel spannender.

Fügt man nun noch die Emojis hinzu, ergibt sich eine schwer zu beschreibende Verschiebung der Bildsprache, die sich am ehesten als subtile Verfremdung beschreiben lässt.

Visuell deutlich interessanter und vielschichtiger werden die Bilder, sobald man mit der Gewichtung einzelner Parameter zu spielen beginnt.

Ein Buch, ein Buch!

Bei den oben umrissenen Experimenten mit der Emotionalisierbarkeit von KI Bildern ist ein Musik-Album der anderen Art herausgekommen. Hierin sind 100 großformatig gedruckte Motive zu sehen, die sich auf 20 bekannte Pop-Musikstücke der 80er Jahre beziehen. Interessenten können ein Exemplar der signierten Auflage für 50 Euro bei uns im Shop. Und natürlich gibt es zu allen Titel im Buch auch eine Playlist bei Spotify.