Künstliche Intelligenz in der Kamera: Nach dem Auslösen

Die KI-Unterstützung braucht sich nicht auf die Vorbereitung der Belichtung zu beschränken; auch nach der Aufnahme kann sie zu besseren Bildern verhelfen. Smartphones und Raw-Konverter sind hier schon weiter als aktuelle Systemkameras. Michael J. Hußmann zeigt auf, was die KI jetzt und in der Zukunft leisten kann. Nachdem man den Auslöser gedrückt hat, der Sensor belichtet wurde und der Verschluss sich wieder geschlossen hat, ist der entscheidende Moment vorbei; nichts, was danach vor der Linse passiert, kann das Bild noch verändern. Aber der fotografische Prozess ist damit noch lange nicht beendet. In der Silberhalogenidfotografie musste erst das latente (und daher unsichtbare) Bild zu einem sichtbaren manifesten Bild entwickelt und dieses Negativ danach auf Fotopapier belichtet werden, bis man schließlich einen positiven Abzug in Händen hielt. Die digitalen Äquivalente sind das Auslesen der Sensorpixel und die Digitalisierung der analogen Werte, gefolgt von der digitalen Entwicklung der so gewonnenen Rohdaten zu einem Bild. Die digitale Entwicklung beruht auf einer Rechnerei mit Zahlenwerten und bietet dabei viel mehr Möglichkeiten als die chemische Entwicklung in der Silberhalogenidfotografie. Nicht nur, weil der Computer in der Kamera weit komplexere Prozesse ausführen kann, als es im Entwicklerbad möglich wäre: Bei der digitalen Entwicklung eines Pixels spielt seine Umgebung und manchmal das gesamte Bild eine Rolle. Auch Wissen über Bilder im Allgemeinen kann herangezogen werden, und das ist die Domäne von KI-Verfahren auf der Basis neuronaler Netze. Gegenüber den klassischen Demosaicing-Algorithmen (links)arbeiten KI-Verfahren die Details besser heraus (rechts). Demosaicing Die Pixel fast aller Bildsensoren – Foveon- und monochrome Sensoren ausgenommen – sind nur für eine der drei Grundfarben empfindlich; die Werte der anderen beiden Komponenten eines RGB-Pixels werden aus den Nachbarpixeln interpoliert, also möglichst passend erraten. Traditionell dienen dazu Algorithmen, die im ganzen Bildfeld in derselben Weise arbeiten. Ihre Entwickler müssen einen Kompromiss zwischen den Extremen finden, entweder maximal scharfe Details zu erraten, die es so vielleicht gar nicht gibt, oder unschärfere Bilder zu erzeugen, die dafür nie allzu weit von der Realität entfernt sind. KI-Methoden bieten hier einen Ausweg. Wenn man neuronale Netze mit hochaufgelösten Bildern und daraus abgeleiteten, simulierten Rohdaten trainiert, lernen sie die fehlenden Farbinformationen zu ergänzen. Statt mechanisch nach einem immer gleichen Algorithmus vorzugehen, arbeiten sie mit einem intelligenteren Verfahren, das typische, tatsächlich vorkommende Strukturen gegenüber Artefakten wie Moiré bevorzugt. Dabei kann auch der größere Kontext berücksichtigt werden, um beispielsweise etwa das Blattwerk von Bäumen anders als eine Fassade zu rekonstruieren [1]. Leider sind aktuelle Kameraprozessoren noch zu leistungsschwach für ein KI-Demosaicing in der Kamera. Derzeit bleibt man daher auf Raw-Konverter wie Lightroom (Classic) und Camera Raw angewiesen, die auf die CPU und die GPU des Computers zurückgreifen können. Dennoch gehört den KI-Verfahren die Zukunft, und mit Hilfe schneller und energiesparender KI-Koprozessoren werden sie auch in die Kameras Einzug halten. Der automatische Weißabgleich der Leica Q3 hat keine Mühe mit dem dominierenden Orange der Blüte (links). Lightroom Classic dagegen hebt zum Ausgleich die Komplementärfarbe hervor (rechts). (Fotos: Michael J. Hußmann) Weißabgleich Ein Ratespiel ist auch der automatische Weißabgleich, der den Einfluss der Lichtquellen auf die Farben neutralisieren soll. Streng genommen ist das Problem unlösbar, wenn man nicht die Lichtquelle direkt anmessen, sondern nur die Sensordaten und damit das reflektierte Licht auswerten kann. Man müsste die Anteile von Rot, Grün und Blau so korrigieren, dass neutral graue Motive auch im Bild farblos erscheinen. Vor dem Weißabgleich haben sie aber noch einen Farbstich, so dass man sie nicht als neutral grau erkennt und nicht weiß, worauf man die Farbwiedergabe abstimmen soll. Zudem gibt es Szenen, in denen gar kein neutrales Motiv vorkommt. Wenn in einem Foto eine Farbe dominiert, soll diese Farbdominanz auch nach dem Weißabgleich erhalten bleiben [2]. Eine Motiv- und Szenenerkennung per KI kann hier helfen, denn wenn erst einmal bekannt ist, was in den einzelnen Teilen des Bildes zu sehen ist, kann die Kamera die Farbwiedergabe so anpassen, dass sie den Erwartungen für die jeweiligen Motive entspricht. Insbesondere Hauttöne werden als kritisch gesehen, wobei typische Vorlieben wichtiger sind als maximal realistische Farben. So bevorzugen hellhäutige Europäer und US-Amerikaner durchweg eine leichte Bräune, während in Afrika eine hellere Haut populär ist und Asiaten einen rosigen Teint mit etwas mehr Magenta attraktiv finden. Vor dem Weißabgleich sollte daher eine Gesichtserkennung erfolgen. Gute Planung ist alles Die Kamerafunktionen vor und nach dem Auslösen sind voneinander nicht völlig unabhängig. Ein Beispiel dafür ist die Belichtung nach der Regel des „Expose To The Right“ (ETTR), die sich in der Digitalfotografie generell empfiehlt. Damit ist gemeint, so zu belichten, dass die hellsten noch zu differenzierenden Lichter die Sensorpixel gerade eben noch nicht zum Überfließen bringen. Ohne weitere Korrekturen fallen Fotos kontrastarmer Szenen dann jedoch zu hell aus, solche kontrastreicher Szenen dagegen zu dunkel. Da die Kameraelektronik den Szenenkontrast kennt und weiß, wie der Sensor belichtet wurde und warum, kann sie dem leicht abhelfen. Dazu ist nur eine angepasste Tonwertkurve nötig, die bei kontrastarmen Aufnahmen die Mitteltöne absenkt und sie bei starken Kontrasten anhebt. Dass die Belichtungssteuerung vor dem Auslösen einerseits und die Bildverarbeitung danach andererseits derart Hand in Hand vorgehen, erfordert nicht einmal KI; es genügt, alle vorhandenen Informationen auch zu nutzen. Dennoch ist so etwas bei Systemkameras noch immer nicht selbstverständlich – aktuelle Smartphones sind hier oft schon weiter. Hinter dem Zusammenwirken verschiedener Funktionen steht aber noch mehr. Die klassischen Automatiken realisieren einfache Regelkreise: Wenn es zu wenig Licht gibt, öffnet man die Blende oder verlängert die Verschlusszeit, wenn die Verschlusszeit zu lang wird, erhöht man den ISO-Wert, liegt der Fokus hinter dem Motiv, verlegt man ihn weiter nach vorne und so weiter. Eine KI-basierte Steuerung kann dagegen die Aufnahmesituation analysieren, das vermutlich vom Fotografen beabsichtigte Ergebnis erschließen und daraufhin einen Plan entwickeln, was die Kamera von der Aufnahmevorbereitung über die Belichtung bis zur Speicherung einer Bilddatei tun muss, um das angestrebte Ziel zu erreichen.