Vom Messen bis zum Auslösen

Die KI hat schon vor Jahrzehnten Einzug in die Kameraelektronik gehalten, und in der Zukunft wird sie noch mehr Funktionen übernehmen – die Smartphone-Fotografie weist die Richtung. Michael J. Hußmann rät, die künstlich intelligenten Assistenten mit ihren Stärken und Schwächen besser kennenzulernen. Erfahrene Fotografen reagieren oft allergisch auf die Werbeversprechen von Kameraherstellern, mit immer mehr KI den Weg zu besseren Bildern zu ebnen. Sie fühlen sich nicht ernstgenommen und in ihrer Kompetenz gering geschätzt. Wer sich von KI-Assistenzfunktionen unter die Arme greifen lässt, gibt tatsächlich einen Teil der Kontrolle über den fotografischen Prozess ab, aber hier müssen wir uns ehrlich machen: Die Alternativen wären entweder, mehr Mühe aufzuwenden, als viele aufzuwenden bereit sind, oder auf das entscheidende Quäntchen mehr an Bildqualität zu verzichten, für das man seine Ausrüstung sehr genau kennen muss. Es spricht auch vieles dafür, dass den nächsten Sprung der Bildqualität nicht bessere Sensoren oder Objektive bringen werden, sondern die KI. Lernen wir also die KI und ihr Potential in der Kameratechnik besser kennen – sei es, um sie als Rivalen besser einzuschätzen, sei es, um sie am Ende vielleicht doch lieben zu lernen. Wie die KI in die Kamera kam Es geschah schleichend und von der Fotoszene weitgehend unbemerkt: Die ersten KI-Funktionen zogen mit der Erfindung der Matrix- oder Mehrfeldmessung (erstmals 1983 in der Nikon FA verwirklicht) in die Kameras ein. Vordergründig handelte es sich lediglich um eine neue Messcharakteristik neben der (mittenbetonten) Integral-, Selektiv- und Spotmessung, aber die Auswertung mehrerer Belichtungsmessfelder stellte besondere Anforderungen. Hätte man die einzelnen Messwerte lediglich miteinander verrechnet, wäre es im Ergebnis nur eine weitere gewichtete Integralmessung gewesen. Die Mehrfeldmessung konnte ihre Stärken erst ausspielen, nachdem die Fülle der so erfassten Informationen (idealerweise noch ergänzt durch einen Mehrfeld-AF) für eine Szenenerkennung genutzt wurde. Beispielsweise konnte eine helle Zone oben als Himmel und ein dunklerer Bereich unten als das Motiv identifiziert werden. Die Belichtung ließ sich dann darauf anpassen, wie der Fotograf diese Szene vermutlich belichtet haben wollte. In den 80er Jahren setzten japanische Kamerahersteller wie Canon auf die „Fuzzy-Logic“, die Wahrheitswerte zwischen „wahr“ und „falsch“ kennt. Damit ließen sich Faustregeln formulieren, die nicht immer und unter allen Umständen galten, und aus der Kombination mehrerer solcher Regeln ergab sich meist eine treffsichere Belichtungsempfehlung. Neuronale Netze können dieselbe Aufgabe erfüllen, und Nikon setzte schon 1996 in der F5 eine solche KI ein, die die Ergebnisse der 3D-Color-Matrixmessung für eine automatische Szenenerkennung nutzte. Während die Fotoindustrie bisweilen einen Hang zur Hochstapelei zeigte, etwa bei den „Computerblitzen“ der 1960er Jahre, in denen keineswegs ein Computer steckte, hatte sie den Einsatz künstlicher Intelligenz schon in der analogen Ära damals nicht besonders herausgestellt. Daher verlassen sich Fotografen schon seit Jahrzehnten auf die KI, ohne dass es ihnen bewusst ist. KI vor dem Auslösen Die ersten Kameras hatten neben den optischen nur mechanische Komponenten. Sowohl die Blende als auch die Verschlusszeit wurden mechanisch gesteuert. In der zweiten Hälfte des 20. Jahrhunderts zog die Elektronik in den Kamerabau ein, die Blende und der weiterhin mechanische Verschluss wurden elektronisch gesteuert, und nach Erfindung des Autofokus auch die Fokussierung. Für eine KI gab es aber noch nichts zu tun, so lange die Interpretation der Belichtungs- und Entfernungsmesswerte trivial war. So geht die Kamera bei einer Integral-, Selektiv- oder Spotmessung davon aus, dass der Messwert einem mittleren Tonwert entspricht, und belichtet so, dass das aufgenommene Bild am Ende ebenfalls einen mittleren Tonwert zeigt. Nur der Fotograf kann wissen, ob das ausgemessene Motiv nicht tatsächlich heller oder dunkler als ein mittlerer Tonwert ist, und dann muss er die Belichtung mit einem positiven beziehungsweise negativen Korrekturwert anpassen. Und dazu muss er auch wissen, wie weit er die Belichtung nach oben korrigieren darf, bevor die Lichter auszufressen beginnen. Gerade weil die „dumme“ Belichtungsmessung so simpel und vorhersagbar arbeitet und kein Wissen über die fotografierte Szene oder die Kamera mitbringt, gibt sie dem Fotografen die Chance, seine eigene Intelligenz zur Geltung zu bringen. Darin liegt aber auch seine Verantwortung, denn es gibt keine Garantie dafür, dass eine Belichtung auf der Basis eines angenommenen mittleren Tonwerts auch ohne jede Korrektur zum gewünschten Ergebnis führt. Nikons Belichtungssensoren für die Matrixmessung (hier aus der D6) konnten schon früh auch die Farben der Motive unterscheiden. Foto: Nikon Eine Mehrfeldmessung dagegen liefert nicht bloß eine weit größere Zahl von Messwerten, sondern erlaubt auch eine grobe Erkennung des Szenentyps und kann einzelne Motive identifizieren. Schon einige SLRs und DSLRs konnten mit ihren dedizierten Belichtungssensoren Hunderte von Pixeln, und bei Nikon-Modellen auch Farben auflösen. Die Nikon F5 griff schon 1996 auf eine Datenbank mit 30000 typischen Szenen zurück, mit denen das Bild des Belichtungssensors abgeglichen wurde. Aktuelle spiegellose Digitalkameras, die auf die Daten des Bildsensors selbst zurückgreifen, arbeiten bei der Mehrfeldmessung mit einem Bild reduzierter Auflösung. Diese Auflösung muss einerseits hoch genug für eine sichere Szenenerkennung sein, darf andererseits aber nicht den Prozessor überfordern. Schließlich erwarten wir, dass die Kamera die passenden Zeit- und Blendenwerte in Echtzeit bestimmt. Der Bildsensor dient bei spiegellosen Kameras auch der Fokussierung, sei es mit einem Kontrastvergleich – der AF sorgt dafür, dass der Kontrast benachbarter Pixel maximal ist – oder mit Phasendetektionspixeln zur Messung der entfernungsabhängigen Parallaxe von Motivdetails. Die Messfelder sind über einen großen Teil des Sensors verteilt, so dass die Kamera eine grobe Depth Map der Szene erzeugen kann. Zusammen mit dem gering aufgelösten Live-Bild für eine Mehrfeld-Belichtungsmessung entsteht so eine 2,5-dimensionale Ansicht – alle Objekte werden in drei Dimensionen erfasst, allerdings nur ihre Vorderseite. Eine Mehrfeldmessung konnte auch ohne KI den Kontrast zwischen den hellsten und den dunkelsten Bildteilen messen und die Belichtung darauf optimieren. Damit war sie den auf einem Mittelwert basierenden Messverfahren bereits deutlich überlegen. Sie konnte aber nicht zwischen bildwichtigen Lichtern und Spitzlichtern unterscheiden, die man straflos ausfressen lassen darf. Ähnliches gilt für die Schatten. Da solche „intelligenten“ Anwendungen einer Mehrfeldmessung inzwischen Stand der Technik sind, gehören zumindest krasse Fehlbelichtungen der Vergangenheit an. Allerdings ist das Ergebnis kaum vorhersagbar, und selbst wenn man dann im Nachhinein eine Belichtungskorrektur einstellt, kann dies in die Irre führen. Manchmal braucht man nur einen etwas anderen Bildausschnitt zu wählen, damit die KI zu einer alternativen Interpretation der Szene kommt und völlig anders belichtet. Wer sich die Kontrolle über die Belichtung vorbehalten will, nutzt daher besser die „dumme“ Integral-, Selektiv- oder Spotmessung, statt sich auf einen Kampf zwischen natürlicher und künstlicher Intelligenz einzulassen, die in unterschiedliche Richtungen ziehen. Auch dem Autofokus greift heutzutage eine KI unter die Arme – oder vielmehr nicht so sehr dem AF an sich, als der Wahl des AF-Messfelds. Der AF misst durchweg nicht nur einmal vor der Aufnahme die Entfernung, sondern wiederholt die Messung und erkennt es, wenn sich das Motiv auf die Kamera zu oder von ihr weg bewegt – und mit welcher Geschwindigkeit. Einen solchen prädiktiven AF hatten schon die analogen SLRs, die nicht auf die zuletzt gemessene Entfernung scharfstellten, sondern auf die Entfernung, die das Motiv – Millisekunden später – beim Beginn der Belichtung erreicht haben würde. Ein kontinuierlicher AF kann einem einmal angemessenen Motiv auch durch das Bildfeld und damit entlang aller drei Dimensionen folgen, was ebenfalls noch auf die Zeit der SLRs zurückgeht. Die KI kommt hier ins Spiel, weil sie selbsttätig Motive erkennen kann, denen der AF folgen soll. Bei Menschen und Tieren kann die KI beispielsweise die Augen, den Kopf und den gesamten Körper erkennen und den jeweils kleinsten Bildbereich wählen, den sie sicher erkennt – also vorzugsweise die Augen, sonst den Kopf und mit niedrigster Priorität den Körper. Bei Flugzeugen sind es meist die Cockpitfenster, das Cockpit und der Rumpf (oder die Piloten, falls diese erkennbar sind und dann die Personenerkennung die Kontrolle übernimmt). Historisch gesehen begann die KI-Unterstützung des Autofokus 2006 mit einer Gesichtserkennung, wobei menschliche Gesichter zunächst nur in einer frontalen Ansicht entdeckt wurden, und nur wenn andere Motive sie nicht verdeckten. Im Laufe der Jahre wurde diese Technologie immer robuster; die Gesichtserkennung funktionierte auch in Profilansichten und bezog immer mehr Tierarten mit ein. Sony hat 2023 mit der Alpha 7C II ein Skelettmodell des menschlichen Körpers eingeführt, mit dem weitgehend unabhängig von einer Gesichtserkennung die Posen einer Person auch in der Bewegung erkannt werden können. Mehr Hubraum bitte KI-Funktionen und die Computational Photography generell stellen große Anforderungen an die Rechenleistung, und verglichen mit Smartphones sind aktuelle Kameras untermotorisiert. Manche KI-Verfahren, die längst Stand der Technik sind, haben nur deshalb noch nicht den Sprung in die Kameras geschafft. Das ist nicht so sehr der Knausrigkeit der Hersteller anzulasten, denn die Prozessoren müssen widerstreitende Anforderungen erfüllen – sie sollen einen hohen Datendurchsatz gewährleisten, dabei aber möglichst wenig Strom verbrauchen und nur einen geringen Teil der elektrischen Energie in das Bildrauschen verstärkende Wärme umwandeln. Teilweise werden die Kamera-CPUs inzwischen durch KI-Koprozessoren unterstützt, die auf die massiv parallele Ausführung relativ einfacher Berechnungen ausgelegt sind, wie sie die Simulation neuronaler Netze erfordert. Die begrenzte Rechenleistung der Kameras zeigt sich nicht nur bei KI-basierten Features. Beispielsweise bieten manche Modelle eine Verstärkung oder Abschwächung der „Klarheit“, also von lokalen Kontrasten, wie man sie von Raw-Konvertern kennt. Der praktische Nutzen dieser Funktion ist jedoch begrenzt, da sie die Kamera stark ausbremst: Zur Berechnung jedes Bildpixels müssen jeweils um die tausend Nachbarpixel berücksichtigt werden. Auch dabei könnte ein KI-Koprozessor helfen, denn ebenso wie sich Grafikchips für KI-Anwendungen zweckentfremden lassen, kann ein KI-Koprozessor Grafikoperationen beschleunigen. Grenzen der KI-Kamerasteuerung Wenn man der KI die Kamerasteuerung überlässt, trifft sie nicht immer die richtigen Entscheidungen und produziert daher nicht unbedingt das erwünschte und erwartete Bildergebnis. Das liegt durchweg nicht an ihrer mangelnden fotografischen Kompetenz. Die Regeln, an denen sich erfahrene Fotografen orientieren, lassen sich problemlos auch einem neuronalen Netz antrainieren. Dem kommt dabei noch zugute, dass der Hersteller die Eigenheiten von Objektiven und Kameras seines Systems genau kennt; die KI kann diese daher optimal ausreizen. Fotografen müssen sich mit einer neuen Kamera erst vertraut machen, und unter anderem ihren Belichtungsspielraum experimentell ermitteln. Vermeintliche Fehlleistungen der KI rühren meist daher, dass es nicht immer die eine optimale Belichtung und Fokussierung gibt. Das Bild ist dann technisch einwandfrei, aber es ist nicht das Bild, das dem Fotografen vorgeschwebt hatte. Dessen Gedanken kann die Kamera jedoch nicht lesen. Der KI bleibt nur, zumindest für optimale Rohdaten zu sorgen, die man dann im Raw-Konverter zu jeder gewünschten Bildanmutung hin entwickeln kann. Vielleicht wird die KI bei einer steigenden Rechenleistung der Kamera-CPU irgendwann in die Lage versetzt, die Vorlieben des Fotografen zu erlernen. Bislang wird sie nur beim Hersteller ausgebildet, lernt im praktischen Einsatz nichts mehr hinzu und lässt sich daher auch nicht individualisieren. Weitere Lerneinheiten beim Anwender würden auch voraussetzen, dass dieser regelmäßig eine Rückmeldung gibt, wie er die Bildergebnisse bewertet – eine Mühe, die viele scheuen dürften. Und wenn man verschiedene Versionen eines Bildes ausprobieren will, dürfte selbst eine nachträglich individualisierte KI damit überfordert sein, solche Alternativen automatisch zu entwickeln und umzusetzen. Beim Auslösen Nach dem Druck auf den Auslöser öffnet sich der Verschluss, um sich nach der gewählten Belichtung wieder zu schließen – so war es in der längsten Zeit der Fotografiegeschichte. Smartphones teilen die Belichtung in vielen Situation in mehrere Teilbelichtungen auf, wofür der Sensor mehrfach ausgelesen wird. In Systemkameras ist diese Belichtungsmethode, die nur mit einem elektronischen Verschluss möglich ist, noch eine Ausnahme. Olympus-Modelle konnten Langzeitbelichtungen schon seit 2012 aufteilen, um den Fortschritt der Belichtung auf dem Display anzuzeigen, so dass man sie stoppen konnte, sobald das Bild hell genug war. 2014 folgte der Live-Composite-Modus, in dem das Bild nach einer Grundbelichtung nur dort durch weitere Teilbelichtungen aufgehellt wird, wo es heller als zuvor ist – beispielsweise die Lichtspuren des Lightpainting. Zuletzt kam die Variante Live-ND hinzu, bei der durch die Kombination vieler sehr kurzer Belichtungen die Wirkung eines Graufilters simuliert wird. Ein ähnliches Verfahren beherrschen die Sigma-Modelle fp und fp L, die damit die Wahl extrem niedriger Empfindlichkeiten bis ISO 6 erlauben. Schon ein drei Jahre altes iPhone 12 Pro kann selbsttätig kontrastreiche Szenen erkennen, eine Belichtungsreihe aufnehmen und die einzelnen Fotos zu einem HDR-Bild verrechnen. Foto: Michael J. Hußmann Alternativ zu einer Aufteilung in Belichtungen mit gleicher Verschlusszeit sind auch Belichtungsreihen möglich, um so einen größeren Dynamikumfang zu bewältigen. Smartphones erkennen durchweg selbsttätig, dass eine einzelne Belichtung nicht ausreicht, und nehmen in schneller Folge mehrere Bilder mit unterschiedlicher Verschlusszeit auf, die sie dann zu einem HDR-Bild verrechnen. Ein globaler elektronischer Verschluss, wie ihn Sony in der Alpha 9 III eingeführt hat, eignet sich noch besser für solche Belichtungsmethoden als der bisher dazu eingesetzte Rolling Shutter, da er alle Sensorpixel gleichzeitig belichtet. Damit ist eine höhere Bildfrequenz erreichbar, und gleichzeitig werden die für einen Rolling Shutter typischen Verzerrungen bewegter Motive vermieden. Diese Vorteile hat Sony in der Alpha 9 III realisiert, sie schöpft aber das weit darüber hinaus gehende Potential eines elektronischen Verschlusses noch nicht aus. Prinzipiell könnte man damit selbst sehr kurze Belichtungszeiten auf viele Teilbelichtungen aufteilen. Da jede einzelne Belichtung entsprechend noch kürzer wäre, könnte es kein Ausfressen der Lichter geben und der Dynamikumfang würde erweitert. Je mehr solcher Teilbelichtungen man kombinierte, desto geringer wäre das Rauschen, und damit ließe sich der Dynamikumfang auch zu den Schatten hin erweitern. Während die Sensortechnik schon weitgehend ausgereizt ist, bietet die Aufteilung der Belichtungszeit bislang erst ansatzweise realisierte Möglichkeiten zur Verbesserung von Rauschabstand und Dynamikumfang. Beide Faktoren sind heute weitgehend durch das Photonenrauschen begrenzt, also das Rauschen des Lichts selbst, und das Photonenrauschen lässt sich nur reduzieren, indem man mehr Licht sammelt. Kleine Sensoren und kleine Pixel sind hier bislang im Nachteil, aber durch die Kombination mehrerer Belichtungen wäre man nicht mehr durch die Kapazität der Sensorpixel beschränkt und könnte mit kleinen Pixeln ebenso viel Licht sammeln wie mit großen. Die KI spielt hier zunächst noch keine Rolle, erweist sich aber bei der Verrechnung der Einzelbilder als nützlich. Zum Ausgleich von Kamerabewegungen, die auch ein Bildstabilisator nicht vollständig ausgeglichen hat, lassen sich die Bilder pixelgenau aneinander ausrichten. Schwieriger ist der Umgang mit bewegten Motiven. Manche aktuellen Smartphones können die verschiedenen Bewegungsphasen eines solchen Motivs erkennen und die Version mit der jeweils besten Schärfe auswählen. In seltenen Fällen entstehen auf diese Weise „unmögliche“ Fotos wie die Rückansicht einer Braut bei der Anprobe ihres Hochzeitskleids, das sie einschließlich ihrer Reflexionen in zwei Spiegeln mit drei verschiedenen Handhaltungen zeigt (www.docma.info/23020). Im Normalfall bleibt es jedoch unbemerkt, dass das Foto nicht mehr den einen entscheidenden Augenblick zeigt, sondern mehrere verschiedene Momente in einem Bild vereinigt. Fortsetzung folgt Mit dem Druck auf den Auslöser ist der Einsatz von KI in der Kamera noch nicht beendet. Zwischen dem Auslesen des Sensors und der Speicherung des Bildes steht die Bildverarbeitung, eine Komponente, die oft als „JPEG-Engine“ bezeichnet wird. Auch dieser Arbeitsschritt, dem in der analogen Zeit die Filmentwicklung und die Vergrößerung der Negative in der Dunkelkammer entsprach, kann von einer Unterstützung durch die KI profitieren – insbesondere wenn die KI-Funktionen vor und nach dem Auslösen aufeinander abgestimmt sind. Um dieses Thema wird es in der Fortsetzung des Artikels in DOCMA 110 gehen.