Willkommen in der Zukunft: Neural Radiance Fields (NeRF), Pluto und Co(mputergames)
Das Prinzip der Photogrammetrie ist nicht neu. So hatten wir Ihnen in 2015 im DOCMA-Heft 66 ab Seite 88 das Verfahren bereits in Anwendung und Durchführung vorgestellt, mit dem Sie Fotos in 3D-Modelle verwandeln können. Neural Radiance Fields machen es inzwischen richtig spannend!
Neural Radiance Fields: Wow!
Was vor wenigen Tagen auf der Seite NeRF: Neural Radiance Fields sowie als Paper als auch auf Youtube veröffentlicht wurde, bringt das Ganze aber auf ein ganz anderes Level.
Aus normalen Fotos werden mit Hilfe neuronaler Netze sehr hochauflösende 3D-Szenen generiert, die man ohne nachträgliches, manuelles Feilen und ohne viel Zeit in dieser Qualität nicht hätte erreichen können. Schauen Sie sich am besten dieses Video an, um einen Eindruck von der Technik und den Resultaten zu bekommen:
Voraussetzung ist eine Serie von Fotos, die (ganz oder teilweise) um das Objekt kreisend aufgenommen wurden. Das Ergebnis des neuen Verfahrens ist nicht nur hochauflösend, sondern berücksichtigt sogar physikalisch korrekte Reflexionen. Sehr beeindruckend.
Falls Sie die technisch-mathematischen Details interessieren, können Sie hier das Paper zum Verfahren herunterladen und studieren: https://arxiv.org/pdf/2003.08934.pdf
Wir leben in der Zukunft!
Die NeRF sind meiner Meinung nach nur der erste Schritt zu ganz neuen kreativen Möglichkeiten. Smartphone-User verstehen oft gar nicht mehr die Notwendigkeit von exakt ausgerichteten Fotoserien für ein Panorama – man bräuchte doch einfach nur die Kamera horizontal oder vertikal in einem Zug schwenken, das Smartphone erledigt den Rest. Ähnlich einfach werden eines Tages solche 3D-Fotos wie oben gezeigt sein. Schon das aktuelle iPad beispielsweise hat bereits einen LiDAR-Sensor eingebaut, der neue und genauere Möglichkeiten im Hinblick auf Augmented-Reality-Funktionen (virtuelle Objekte im Raum platzieren, mit Verdeckung und Schattenwurf durch reale Objekte!) oder für genauere Tiefenkarten von Fotos bietet, als es die aktuellen Smartgeräte mit Mehrfachkameras erlauben. Tiefenkarten lassen sich jetzt schon beispielsweise in Camera Raw und Lightroom bei HEIC-Fotos nutzen, um Fotobereiche selektiv nach ihrer Entfernung zur Kamera zu optimieren.
Wissenschaftlich gesehen leben wir jedenfalls in sehr spannenden Zeiten (ich hoffe, dass ich das Folgende nicht schon mal hier geschrieben hatte, denn ich bin immer noch und immer wieder davon begeistert). Als Kind war der am weitesten entfernte Planet (als der er damals noch gezählt wurde) Pluto höchstens ein kleiner weißer Punkt in der Abbildung eines Lexikons, heute gibt es hochauflösende Bilder von ihm. Täglich werden neue Exoplaneten entdeckt, für die es noch vor wenigen Jahrzehnten nicht einmal einen Existenznachweis gab. Meine ersten Sprites programmierte ich noch selbst und freute mich, sie über den Bildschirm bewegen zu können – heute haben selbst Spiele auf Smartphone und Tablet eine hochauflösende 3D-Grafik, von PCs und Konsolen ganz zu schweigen (was für ein visueller Unterschied vom ersten Doom zum aktuellen Doom Eternal, yay! Mehr als Doom hatte ich wohl nur QuakeIIIArena gezockt bis ich nur noch überall Pixel gesehen habe). Fotografen haben heute dank moderner Digitalkameras eigentlich nur noch Luxusprobleme, um die uns Generationen von früheren Fotografen und Künstlern beneiden würden.
PS: „Corona“
Auch wenn viele es nicht mögen, dass im Blog eines Magazins über Bildbearbeitung in den ganz persönlichen Beiträgen der Redaktionsmitglieder dieses Thema überhaupt auch nur erwähnt wird: Es betrifft uns doch alle! Von mir nur soviel, da ich gerade meine Begeisterung für die wissenschaftlichen Errungenschaften mit Ihnen teilte: Dank der Wissenschaft werden wir auch die aktuell größte Herausforderung meistern: die aktuelle Sars-CoV-2-Pandemie. Nur dank moderner Medizin haben Patienten mit Vorerkrankungen heute überhaupt eine Chance, die komplexe Erkrankung Covid-19 zu überleben. Es ist jedenfalls keine Alternative, einfach alle Menschen sterben zu lassen, bei denen der Virus schwere Probleme verursacht, wie es das Verhalten und die unqualifizierten Meinungsäußerungen doch erschreckend vieler Personen nahelegt. Wir müssen als Menschen nachbarschaftlich, national und international in diesen emotional und für uns alle wirtschaftlich sehr schweren Zeiten der Quarantäne zusammenstehen! Mehr will und werde ich (als beinahe promovierter 😉 Diplom-Humanbiologe) dazu an dieser Stelle gar nicht sagen.
Ihr Olaf Giermann
