Semantische Bildersuche mit Excire Foto

Excire Foto 2025 erlaubt über eine KI-gestützte automatische Verschlagwortung hinaus auch eine Freitextsuche. Damit findet man beispielsweise „römische Triumphbögen“, die der Schlagwortkatalog nicht kennt. Eine semantische Suche mit frei formulierten Texten und eine Ähnlichkeitssuche mit Beispielbildern gehört – neben der weiterhin verfügbaren automatischen Verschlagwortung – auch zu den Features der Excire-Produktfamilie der Lübecker Pattern Recognition Company (PRC), einer Ausgründung der dortigen Universität. Ich habe darüber mit Dr. Thomas Käster gesprochen, dem CTO des Unternehmens. Michael J. Hußmann (MJH): Hallo Thomas, Excire Foto 2025 soll mit KI-Technologien beim Finden, Organisieren und Auswählen von Fotos und Videos helfen. Was ist in dieser Version neu und was hat sich speziell im Bereich der KI getan? Ihr bietet ja neben der automatisierten Verschlagwortung auch eine freie Textsuche an; war dazu ein neues KI-Modell nötig? Dr. Thomas Käster (TK): Wir haben im Dezember die Version 2025 herausgebracht. Bei der KI hatte schon die Version 2024 die größten Sprung gemacht. Das Hauptmodell, das wir für die Ähnlichkeitssuche und die Verschlagwortung einsetzen, ist ein einziges neuronales Netz; wir verwenden es also für beide Aufgaben. Das hat vor allem Performancegründe, weil wir dadurch pro Bild weniger berechnen müssen. Man könnte für verschiedene Aufgaben auch individuelle Netze trainieren und benutzen, aber damit wird die Laufzeit länger, weil man die Bilder durch verschiedene Netze schicken muss. Bei uns ging es schon immer darum, erstens innovative Funktionen zu realisieren, die zweitens aber auch nutzbar sein sollen – in dem Sinne, dass es schnell geht. Wir wissen ja genau, dass manche unserer Nutzer 200000 oder noch mehr Bilder haben, und da dürfen sie nicht wochenlang warten müssen, bis alle indexiert sind. Für Excire 2024 hatten wir die KI auf ein neues Fundament gestellt und dabei das Basisnetzwerk ausgetauscht. Das konnten wir nun für die Ähnlichkeitssuche weiterverwenden, aber mit einer höheren Qualität. Das Modul, das die Bilder analysiert und bestimmte Inhalte erkennt, haben wir noch erweitert und können jetzt 650 Inhalte erkennen. Auch die im Training verwendeten Datensätze wurden noch einmal erweitert und neu kuratiert. Da steckte also schon 2024 ein großer Aufwand dahinter. Das Schöne war, dass wir durch diesen Wechsel mit der 2024er-Version zwei Welten zusammenbringen konnten. Wir konnten schon vorher Bilder algorithmisch beschreiben, also Fotos in einen mathematischen Raum überführen. Der neue Bereich, den wir hineingebracht haben, war der Textbereich. Ein Nutzer kann mit eigenen Worten beschreiben, was er sucht. Das war ein bisschen tricky, da beide Welten zusammenpassen müssen, aber wir konnten uns bei existierenden Lösungen bedienen und sie für unsere Bedürfnisse anpassen. Wir unterstützen auch mehrere Sprachen, aktuell Deutsch und Englisch, was nicht so einfach umzusetzen war. Oft waren die neuronalen Netze nur für eine Sprache verfügbar, und man musste schauen, dass es zusammenpasst. Das war ein großer Satz nach vorne, weil der Benutzer nun nicht mehr auf die 650 Inhalte eingeschränkt ist. Du kannst jetzt alles Mögliche beschreiben und findest damit wirklich die Nadel im Heuhaufen. Vor allem sind Anfragen auf einem höheren semantischen Level möglich. So kann man ein Konzept wie „Entspannung am Strand“ formulieren, oder nach „einem roten Auto, das schnell fährt“ suchen. Das ist komplexer, als wenn man nur nach Hund, Katze oder Maus sucht. Die schon vorher mögliche Suche nach den 650 vorgegebenen Kategorien ist natürlich weiterhin nützlich und sehr leistungsfähig. Die Suche nach ähnlichen Bildern anhand eines Beispielbilds ist auch immer noch möglich und sehr performant. Die Leistungsfähigkeit von Excire liegt in diesem Mix verschiedener Funktionen. In einem Auswahlprojekt werden die Bilder per KI nach verschiedenen, auswählbaren Kriterien in Gruppen sortiert, die man nachträglich auch noch manuell an eigene Wünsche anpassen kann. MJH: Was ist in der aktuellen Version hinzu gekommen? TK: Das sind zwei Bausteine. Der eine ist, dass wir den Workflow der Fotografen vereinfachen wollten, wenn es um Personen geht. Wir wissen ja, dass Personen in der Fotografie einen hohen Stellenwert haben. Menschen werden oft fotografiert, ob nun in einem professionellen oder privaten Zusammenhang. Deshalb haben wir gesagt, wir möchten all die bereits vorhandenen Funktionen wie unsere Gesichtserkennung und Personenerkennung erweitern, so dass man eine Personensammlung anlegen kann und schneller ein Feedback bekommt, zum Beispiel ob die Aufnahmen von Personen nun scharf sind oder nicht. Der gesamte personenbezogene Workflow wurde nochmals optimiert – auch mit neuen Verfahren, denn die Analyse der Gesichter auf ihre Schärfe ist komplett neu. Der zweite Workflow, der jetzt ganz neu hinzugekommen ist, sind die Auswahlprojekte, mit denen man eine Fotoauswahl nach verschiedenen Aufgabenstellungen trifft. Das reicht von der Auswahl für ein privates Fotobuch über die Highlights einer Urlaubsreise und die Planung von Vorträgen und Diashows bis zum Workflow eines Hochzeitsfotografen, der für das Brautpaar Fotos auswählen muss. Im englischsprachigen Fachjargon gibt es dafür den Begriff „Culling“. Die Idee hinter den Auswahlprojekten ist, dass Excire die Fotos erstmal in eine neue Struktur überführt und man sich nicht mehr auf die klassische Weise anhand des Dateinamens und des Aufnahmedatums durch die Bilder wühlen muss. In was für eine Struktur die Bilder in einem Auswahlprojekt gebracht werden sollen, kann der Benutzer parametrisieren, also angeben, was ihm jeweils wichtig ist. Geht es um Personen, sind gewisse Inhalte wichtig, ist eine visuelle Ähnlichkeit der Fotos relevant oder auch das Aufnahmedatum, etwa bei mehreren Aufnahmen aus einer Serie? All das kann man konfigurieren, und im Auswahlprojekt bekommt man dann verschiedene Unterkategorien, einmal nach Personen gruppiert, aber auch nach visueller Ähnlichkeit oder nach verschiedenen Locations. Ein Hochzeitsfotograf hat etwa auf der Standesamtstreppe fotografiert, in der Kirche am Traualtar, vielleicht noch ein Shooting mit dem Brautpaar am Waldrand gemacht, und diese Situationen kann die KI dann identifizieren und die zugehörigen Fotos automatisch in eine eigene Gruppe kopieren. Der erste Schritt im neuen Auswahlworkflow ist diese Neuorganisation, und im zweiten Schritt kann man sich verschiedener Werkzeuge bedienen, also der einzelnen Algorithmen, die wiederum konfigurierbare Parameter haben. Man kann auch manuell eingreifen und Bilder zusammenfassen, aber auch in den Gruppen nach verschiedenen Kriterien sortieren, etwa nach der Schärfe des Gesichts einer abgebildeten Person. Man kann aber auch sagen, das Gesicht soll nicht nur am schärfsten sein, sondern die Augen sollen offen sein und die Person soll lächeln. So findet man mit wenigen Handgriffen die beste Aufnahme einer Person, ohne sich ein-, zwei- oder dreihundert Bilder angucken zu müssen. Mit unserer Smart Selection funktioniert das auch automatisch. Dahinter steckt wieder eine KI, die nach den wichtigen Kriterien aus dem Fotobestand eine automatische Auswahl zusammenstellt. Dabei kann der Benutzer aber immer wieder eingreifen, was für uns sehr wichtig ist. Wir haben den Benutzer immer in der Schleife; er behält die komplette Kontrolle. Dieses Schweizer Taschenmesser der Fotoverwaltung ist sehr mächtig, und es braucht ein bisschen, bis man gelernt hat, die verschiedenen Werkzeuge einzusetzen, aber danach spart man viel Zeit. Eingaben in der Freitextsuche werden auf ihre Bedeutung hin analysiert, wobei eine Suche nach beispielsweise „Liebespaaren“ unter anderem auch Paare von Tieren und eine Grabskulptur findet. MJH: Noch einmal zurück zur KI: Kann man sich die Freitextsuche so vorstellen, dass die Texte, die man eingibt, in ebensolche Vektoren oder Embeddings im Merkmalsraum übersetzt werden wie die Bilder, die Excire Foto analysiert hat? TK: Ja, genau das ist es. Die Welten von Bildern und Texten haben einiges gemeinsam. Wir waren früher in der Bildwelt zuhause. Mit der generativen KI kam die Sprache hinzu, denn die generativen Modelle verbinden ja beides, wenn man eine Sprachbeschreibung eingibt und die KI daraus ein Bild generiert. Es geht immer darum, Texte oder Bilder in mathematischen Räumen zu beschreiben, und wenn man beide zusammenbringen will, dann muss man sie im gleichen Raum beschreiben. Es ist die Besonderheit unserer Freitextsuche, dass eben das jetzt möglich ist. Es funktioniert ähnlich wie bei der Ähnlichkeitssuche, bei der man zu einem Beispielbild ein Embedding berechnet und nach ähnlichen Embeddings in einem reinen Bildraum sucht – nur dass das Embedding nun nicht mehr von Bildern, sondern von Texten stammt. Wir mussten aber darauf achten, dass beides auch wirklich vergleichbar ist, und das war nicht so ganz einfach. MJH: Funktioniert das dann mit so etwas wie einem k-Nearest-Neighbor-Algorithmus? TK: Das ist klassisches Retrieval, genau wie bei unserer Ähnlichkeitssuche. Die Freitextsuche ist ja auch eine Ähnlichkeitssuche, nur dass die Anfrage nicht auf einem Bild, sondern auf Text basiert. Das wäre so etwas wie k Nearest Neighbor, nur dass wir das nicht mehr als Klassifikationsproblem begreifen. Unser Klassifikator für 650 vorgegebene Kategorien kann mir entweder sagen, dass ein Bild in eine dieser Kategorien gehört, oder dass er den Inhalt nicht erkennt. Man könnte aber auch anders vorgehen und die Fotos in der Bilddatenbank als Referenz für eine Klassifikation nehmen. Wenn ich mit einem k-Nearest-Neighbor-Algorithmus zu einem Bild zehn ähnliche Bilder finde, und auf neun von diesen ist ein Hund, dann legt das nahe, dass auch das Suchbild einen Hund zeigt. Das wäre eine Klassifizierung mit k Nearest Neighbor, aber das braucht man beim Retrieval gar nicht zu machen. Man vergleicht nur Embeddings, und deren Ähnlichkeit ist ein Maß für ihre Relevanz. Man kann also die Suchergebnisse danach sortieren. MJH: Ich fand es interessant, was für Generalisierungen offenbar bei der Suche stattfinden. Unter anderem hatte ich mal nach Liebespaaren gesucht, und dabei wurden nicht nur menschliche Liebespaare gefunden, sondern auch Tiere, zum Beispiel zwei schnäbelnde Möwen. Es wurde also etwas, das sich eigentlich auf Menschen bezieht, ebenso bei Tieren erkannt, woran immer die KI das festgemacht hat. TK: Das ist im Grunde eine Eigenschaft des für die Textanalyse verwendeten Transformer-Modells, das die Wörter der Eingabe parallel verarbeitet und davon eine hochwertige semantische Beschreibung erzeugt. Wir haben also ein System, das die Bedeutung dieser Sätze beschreiben kann, und zwar in demselben Merkmalsraum, in dem wir auch die Bilder beschreiben, so dass beides zusammenkommt und Bilder mit der gewünschten Bedeutung gefunden werden. MJH: In letzter Zeit war oft zu lesen, dass den KI-Unternehmen die Daten ausgingen. Statt echter Daten wird für das Training neuer Modelle bereits synthetischer Ersatz genutzt, also Daten, die eine KI generiert hat. Ich habe mir einmal einen solchen synthetischen Datenkorpus angeschaut und fand bei Stichproben blühenden Unsinn – wenn ein KI-Modell damit trainiert würde, müsste sich dieser Unsinn noch potenzieren. Nun seid Ihr ja in einer besonderen Situation: Fotografen haben begründete Einwände, wenn ihre Bilder ungefragt für das Training generativer KI-Modelle verwendet werden, die ihnen dann mit ähnlichen Bildern Konkurrenz machen. Von einer Bilddatenbank wie Exire Foto hätten sie dagegen einen Nutzen, und es müsste ihnen daran gelegen sein, dass sich die zugrundeliegenden KI-Modelle verbessern. Kommt Ihr daher leichter an neue Daten? TK: Wir haben uns einen Datensatz aufgebaut, den wir zu kommerziellen Zwecken verwenden dürfen – schon seit der allerersten Version der Software vor gut zehn Jahren. Diese fünf bis sechs Millionen Bilder mussten wir allerdings erst selbst kuratieren. Manche Bilder waren zwar schon verschlagwortet, aber die Qualität dieser Verschlagwortung war für unsere Zwecke ungenügend. Diese kuratierten Fotos bilden nun unseren Datenschatz, der sich nicht so einfach erweitern lässt. Wir haben aber tatsächlich schon darüber nachgedacht, ob wir nicht künftig unsere Community stärker in die Erweiterung des Trainingskorpus einbinden können. Wir treten ja nicht zu Fotografen in Wettbewerb, sondern wollen ihnen das Leben einfacher machen. Wir bekommen immer wieder Anfragen, ob wir nicht dieses oder jenes erkennen könnten – auch ganz exotische Dinge. Manche Fotografen sind auf Lack und Leder oder auf Piercings spezialisiert, es gibt Plane- und Trainspotter, oder Sportfotografen, die bei Fotos von Laufwettbewerben die Läufer nach ihren Nummern sortiert haben möchten. Solche Sonderwünsche haben wir aber bislang nicht berücksichtigt, weil die nötige Kuratierung der Bilder dann doch sehr aufwendig würde. MJH: Vielen Dank für das Gespräch!

Semantische Bildersuche mit Excire Foto

Als Abonnent einloggen

DOCMA 2GO abonnieren

Schreibe einen Kommentar Antworten abbrechen

HAIBRIDS – das Buch zum Projekt ist jetzt lieferbar

Menschen fotografieren

Neu im DOCMA-Shop: Vintage Objektive, die 7. Auflage

Historische Kino-Objektive – der neue Kieckhöfel

Niépce Recoded: KI bringt neues Leben ins älteste Foto der Welt

Piraten – Bilder und Geschichten