Augenreflexionen lesen – und per KI in 3D umwandeln
Wir nähern uns immer weiter den vermeintlich absurden Tatort-Verbesserungsmöglichkeiten von „CSI: Miami“ an. Olaf Giermann ist über ein interessantes Paper gestolpert, das zeigt, welche unglaublichen Möglichkeiten uns erwarten.
Fiction: „CSI: Miami“
„CSI: Miami“ kenne ich nur, weil es eine geniale Parodie darauf in „Switch Reloaded“ gab – und aufgrund der Memes rund um das magisch-endlose Hineinzoomen und Verbessern selbst des schlechtesten Bildmaterials.
Real: Schärfung und Detailrekonstruktion per KI
Moderne Softwares, wie Topaz Sharpen und Luminar Neo zeigen aber, dass durch KI-basierte Dekonvolutionsverfahren mehr Bildrettung möglich ist, als wir noch vor wenigen Jahren für möglich gehalten hatten.
Die mit Apps wie Remini oder Photoshops Neuralfilter »Bildrekonstruktion« möglichen Wiederherstellungen von Details basieren aber eher auf einer Neuerfindung der Details. Stellen Sie sich das so vor: Es wird per KI ein scharfes Pendant erzeugt, das dem unscharfen Bildelement möglichst genau entspricht. Remini kann das übrigens noch deutlich besser als Photoshops Filter, der sich aber (immer noch) in der Beta-Phase befindet. Siehe dazu meinen Blogbeitrag oder meinen großen Vergleichstest in DOCMA 103 – hier im DOCMA-Shop erhältlich.
Licht-Set-up aus Augenreflexionen
Wenn man gut Fotos sieht, fragt man sich als neugieriger Mensch natürlich, wie das gemacht wurde. Ein wichtiger Teil ist die Beleuchtung. Falls Sie eine hochauflösende Fotoversion betrachten können, lassen sich Lichtquellen, Diffusoren und Reflektoren insbesondere im Auge des Models erkennen. Ein Ansatz für Reverse Engineering der Lichtsituation.
So weit, so einfach.
3D aus den Augenreflexionen
Auf GitHub wurde von Wissenschaftlern der University of Maryland ein KI-Modell vorgestellt, das aus den Augenreflexionen ein 3D-Modell der dort sphärisch gespiegelten Umgebung erzeugt. Nötig sind dazu mehrere, hochauflösende Bilder (etwa aus Videos) derselben Person in dieser Umgebung. Mit einem sogenannten Neural Radiance Field (NeRF), einem neuronalen Netz, wird dadurch eine 3D-Repräsentation erzeugt, bei der man den Blickpunkt ändern kann. Schauen Sie sich unbedingt die Videos auf der Seite an!
Die beeindruckenden Beispiele in der unteren Reihe mit den rekonstruierten Räumen zeigen dabei übrigens noch nicht den realen, derzeitigen Stand der Dinge, sondern sind aus den Reflexionen auf künstlichen Augenmodellen in künstlichen Szenen abgeleitet. Die Ausgabequalität bei echten Fällen ist tatsächlich aber auch nur durch die Auflösung der dem NeRF zugeführten Bilder begrenzt.
Falls Sie die Details interessieren, finden Sie hier das Paper: Seeing the World through Your Eyes.
