Eine Stilreferenz gibt es in Adobe Firefly nun schon länger. Jetzt ist auch eine Strukturreferenz hinzugekommen. Was es damit auf sich hat und was Sie damit anstellen können, erfahren Sie in diesem Blogbeitrag.
Stilreferenz
Die bereits seit Längerem in Firefly vorhandene Stilreferenz einfach zu verstehen: Sie laden dort ein Bild hoch, das den Bildstil der generierten Bilder vorgibt. Und tatsächlich ähneln generierte Bilder der Vorlage offensichtlich.
Strukturreferenz
Anders funktioniert die Strukturreferenz (Adobe-Blogbeitrag dazu). Diese entspricht dem, was Sie möglicherweise von Stable Diffusion unter dem Begriff ControlNet oder auch PoseNet kennen. Ein als Strukturreferenz geladenes Bild dient Firefly nicht zum Nachempfinden des Bildstils. Stattdessen legt es Konturen von Objekten und den Bildaufbau fest.
Stellen Sie sich vor, Sie müssten die Pose eines Models per Text beschreiben. Mit einem Foto oder einer Skizze ist das viel einfacher. Und genau dafür dient die Strukturreferenz.
Beispiel 1
Mit dem Prompt „eine modern eingerichtete Wohnung“ erhalte ich eine beliebige Wohnung, aufgenommen aus einem beliebigen Winkel:
Aktiviere ich die dritte Vorgabe im Struktur-Panel, wird die Anordnung der Möbel und der Aufnahmewinkel der generierten Wohnung an das Strukturbild angepasst:
Selbst abstrakte Vorgaben, wie die über dem Würfel schwebende Kugel werden im generierten Bild umgesetzt. Einen Sinn ergibt die generierte Einrichtung in diesem Beispiel jedoch nicht wirklich:
Beispiel 2
Ich wollte eine Touristin generieren, die über Kopfsteinpflaster in einer Altstadt stolpert:
Die gewünschte Pose stellte ich mit einer Gliederpuppe nach …
… und erhielt mit diesem Foto als Strukturreferenz, dann (neben VIELEN (!) verunglückten und unbrauchbaren Resultaten) dieses Bild (Finger zählen wir heute mal wieder lieber nicht):
Erhöht man die Stärke der Strukturreferenz auf das Maximum, bekommt das Referenzbild mehr Gewicht, was dann zu solchen Ergebnissen führt:
Das Ganze lädt also zum Spielen und Entdecken ein.
Beispiel 3
Interessant wird es auch für Effekte wie die Diffusion Illusion, die ich Ihnen im Heft und hier schon vorgestellt hatte. So kann ich etwa mein Logo als Strukturreferenz laden und es als ein Teil des Bildes erscheinen lassen:
Beides zusammen ergibt dann bei gleichem Prompt unter anderem eine solche Variation:
Oder mit einem erfreulicheren Häschen-Inhalt so etwas:
In diesem Sinne: Frohe Osterfeiertage, an denen Sie vielleicht Zeit finden, um mit der neuen Funktion von Firefly etwas herumzuspielen.
Ihr Olaf Giermann
Danke für den aufschlussreichen Artikel. Ich habe mit Firefly auch schon rumgespielt … und werde das nun intensivieren.
Viele Grüße
Renate