Entrauschen mit neuronalen Netzen

Es vergeht kaum eine Woche, in der nicht von neuen Heldentaten der künstlichen Intelligenz, oder, genauer gesagt, von neuronalen Netzen berichtet wird. Letzte Woche hat ein Wissenschaftlerteam ein neues Verfahren vorgestellt, Rauschen aus Fotos und anderen Bildern zu entfernen – mit einem neuronalen Netz, das zuvor noch nie ein unverrauschtes Bild gesehen hatte: Entrauschen mit neuronalen Netzen.

Das Projekt ist eine Kooperation der Firma NVIDIA, der Aalto Universität in Finnland, und des MIT in Cambridge, Massachusetts. Bei „NVIDIA“ denkt man zunächst an Grafikchips, aber in letzter Zeit erregte dieser Hersteller durch seine Aktivitäten im Bereich der künstlichen Intelligenz öfter Aufsehen. Tatsächlich ist das eine durchaus naheliegende Anwendung von Grafikchips. Der Grafikprozessor (GPU) hat sich längst zur zweiten Recheneinheit neben der CPU entwickelt und viele Anwendungen, darunter auch Photoshop und Lightroom, lassen manche Aufgaben von der GPU erledigen. Die GPU kann eine große Zahl von Rechenvorgängen parallel ausführen, was in der Bildbearbeitung, in der Millionen von Pixeln auf die prinzipiell gleiche Art berechnet werden müssen, die Ausführung erheblich beschleunigt. Die Simulation neuronaler Netze, also von Systemen, die nach dem Muster von Nervenzellen arbeiten, stellt ganz ähnliche Anforderungen, weshalb es für NVIDIA auf der Hand lag, seine Chips für solche Anwendungen zweckzuentfremden.

Das neue Verfahren, das NVIDIA in seinem Blog und die Forscher selbst in einem Fachaufsatz (aus dem die hier gezeigten Bilder stammen) vorstellen, hat eine Besonderheit: Während ähnliche Ansätze darauf beruhen, neuronale Netze den Unterschied zwischen verrauschten und unverrauschten Versionen derselben Bilder lernen zu lassen, woraufhin sie gleichartiges Rauschen auch aus unbekannten Bildern entfernen können, bekommen die neuronalen Netze hier während ihrer Lernphase keine unverrauschten Bilder zu sehen – nur unterschiedlich verrauschte Varianten desselben Bildes:

Nachdem die Lernphase mit Zigtausenden von Bildern abgeschlossen ist, kann selbst aus einem stark verrauschten Foto, wie dem des Koala oben, noch ein rauschfreies Bild erzeugt werden. Entscheidend ist dabei, dass die Art des Rauschens gleich ist; nur das konkrete Rauschmuster ändert sich von Bild zu Bild.

Dieses Verfahren ist nicht auf die Entfernung von Rauschen beschränkt. Das neuronale Netz kann ebenso lernen, Bilder von überlagertem Text – beispielsweise auch Wasserzeichen – zu befreien. Auch hierzu wird das neuronale Netz zunächst mit Bildpaaren mit unterschiedlichen (aber gleichartigen) Störmustern trainiert:

Danach gelingt dann auch die automatische Textentfernung:

Ein Verfahren, das auch in der Trainingsphase des neuronalen Netzes ohne störungsfreie Originalbilder auskommt, ist vielseitiger anwendbar, denn in Bereichen wie der Astrofotografie gibt es kein „sauberes“ Material – man kann nicht einfach zu Lichtjahre entfernten Sternen fliegen, um rauschfreie Fotos von ihnen aufzunehmen. Warum rauschfreie Bilder auch gar nicht zwingend nötig sind, lässt sich leicht veranschaulichen: Wenn Sie Ihre Kamera auf deren Grundempfindlichkeit von beispielsweise ISO 200 stellen, um ein möglichst rauscharmes Bild aufzunehmen, müssen Sie den Verschluss bei schlechten Lichtverhältnissen vielleicht für eine Sekunde öffnen. Dieses Bild können Sie sich nun als Kombination von 100 Belichtungen von je 1/100 Sekunde vorstellen, und jede dieser Teilbelichtungen würde ein stark verrauschtes Bild ergeben. In der Summe entsteht daraus aber ein rauschfreies oder wenigstens rauscharmes Bild. Daher lässt sich auch anhand von Paaren unterschiedlich verrauschter Bilder annähernd ermitteln, wie ein unverrauschtes Bild aussehen müsste.

Glauben Sie nun aber nicht, dass Sie – sofern in Ihrem Computer eine NVIDIA-Grafikkarte steckt – Ihre Fotos künftig mit künstlicher Intelligenz entrauschen könnten. Bislang handelt es sich noch um ein Forschungsprojekt, das die dahinter stehende Idee anhand von künstlich verrauschten Bildern getestet hat. Die praktische Anwendbarkeit auf verrauschte Fotos, wie sie unsere Kameras liefern, müsste erst unter Beweis gestellt werden. Es ist auch noch fraglich, ob sich ein neuronales Netz so einfach auf alle Arten des Rauschens trainieren lässt, die in realen Aufnahmen vorkommen. Nicht zuletzt scheint der nötige Rechenaufwand noch zu groß zu sein, als dass man einen handelsüblichen Mac oder PC damit betrauen könnte.

Insbesondere bei der Entfernung von überlagertem Text kommt hinzu, dass der Text größere Bildteile vollständig verdeckt, so dass nicht nur die Störungen identifiziert, sondern auch die verdeckten Bildteile passend rekonstruiert werden müssen. Ob sich das Verfahren so universell gestalten lässt, dass es auf beliebige Bilder anwendbar wäre, muss sich erst zeigen. Dennoch ist es spannend zu sehen, welch rasante Fortschritte die Bildbearbeitung mit künstlicher Intelligenz derzeit macht. In Zukunft also Entrauschen mit neuronalen Netzen?