Sensordesign mit künstlicher Intelligenz

Zugegeben, Sensoren werden noch nicht von künstlichen Intelligenzen entwickelt, aber es gibt Ansätze, das optimale Farbfiltermuster mit neuronalen Netzen zu ermitteln – Sensordesign mit künstlicher Intelligenz.

In den letzten Tagen wurden zwei wissenschaftliche Arbeiten bekannt, die sich mit der Optimierung des Farbfiltermusters von Bildsensoren beschäftigten. Die meisten Kameras haben Sensoren mit RGB-Farbfiltern in dem Muster, das der vor wenigen Jahren verstorbene Kodak-Mitarbeiter Bryce E. Bayer erfunden hatte. (Nur mal am Rande: Es stört mich immer, wenn Kodak unterstellt wird, das Unternehmen hätte die digitale Fotografie verschlafen. Kodak hat die Digitalfotografie nicht nur 1975 erfunden, sondern ihr auch immer wieder neue Impulse gegeben; das Bayer-Muster der Farbfilter ist nur ein Beispiel dafür.) Aber ist dieses Farbfiltermuster wirklich optimal? Sony hat Farbfiltermuster mit einer vierten Farbe (Cyan) neben Rot, Grün und Blau entwickelt und von Kodak gibt es Konzepte für Sensoren mit panchromatischen Pixeln. Fuji hat das X-Trans-Muster entwickelt, das sich erst alle sechs Pixel wiederholt, statt wie das Bayer-Muster alle zwei Pixel.

Neuronale Netze eignen sich generell für Optimierungsaufgaben, und so könnten sie auch die Frage beantworten, welches das optimale Farbfiltermuster für Bildsensoren ist. Evan Fletcher kam zu dem Ergebnis, dass das Bayer-Muster optimal ist. Sein neuronales Netz konvergierte schon nach wenigen Trainingsrunden auf dieses Resultat. Kurz danach wurde jedoch eine Arbeit veröffentlicht, nach der Muster von 4 mal 4 Filtern noch bessere Ergebnisse liefern.

Mit der künstlichen Intelligenz ist es eben nicht so einfach. Neuronale Netze lernen nicht von sich aus, wie sich ein Problem lösen lässt, sondern verlangen ein erhebliches Maß an Hilfestellung. Zunächst einmal kommt es darauf an, die optimalen Trainingsdaten bereitzustellen. Dann muss der KI-Entwickler die voraussichtlich am besten geeignete Architektur seines Netzes wählen und dessen Freiheitsgrade festlegen, die per maschinellem Lernen zu optimieren sind. Die zweite erwähnte Arbeit von Bernardo Henz, Eduardo S. L. Gastal und Manuel M. Oliveira unterscheidet sich insofern von der ersten, als sie eine Ko-Evolution des Farbfiltermusters und des Demosaicing-Verfahrens vorsieht; außerdem erlaubt sie beliebige Filterfarben (auch jenseits von Rot, Grün und Blau), und es wird auch der Einfluss des unvermeidlichen Bildrauschens berücksichtigt.

Je nachdem, ob das Bild durch Rauschen gestört wird oder nicht, ermittelt das maschinelle Lernen zwei verschiedene Farbfiltermuster von 4 mal 4 Pixeln – oder vielmehr 2 mal 4 Pixeln, da sich die beiden Hälften des Farbfiltermusters gleichen.

Ob diese Muster jedoch wirklich optimal sind, ist noch nicht klar. Schon Evan Fletcher erwähnte, dass seine Trainingsdaten Bilder von Digitalkameras waren, deren Sensoren Farbfilter im Bayermuster hatten. Die Auflösung dieser Bilder im Rot- und Blaukanal dürfte größer als die im Grünkanal sein, und das könnte wiederum das Bayer-Muster bevorteilen, das den Grünkanal feiner auflöst als den Rot- und den Blaukanal.

Keine der beiden Arbeiten zieht Fujis X-Trans-Muster zum Vergleich heran, was den Wert dieser Vergleiche einschränkt. Das im Vergleich zum Bayer-Muster irreguläre X-Trans-Muster soll die Entstehung von Farbmoirés bei Sensoren ohne Tiefpassfilter vermeiden, aber um das auf die Probe zu stellen, wären Bilder mit höherer Auflösung nötig, als sie ein Bayer-Sensor liefern würde. Die Methoden der künstlichen Intelligenz können sich als nützlich erweisen, das optimale Farbfiltermuster zu finden, aber die aktuellen Ansätze kranken noch daran, dass ihre Ergebnisse vor allem auf den Vorgaben beruhen, die deren Entwickler gesetzt haben. Das Sensordesign mit künstlicher Intelligenz braucht noch menschliche Hilfe.