Fotos durch künstliche Intelligenz verbessern: Das klappt unter anderem mit der sogenannten Nerf-Technik. Dabei wird aus mehreren einzelnen Bildaufnahmen eine Reproduktion des Gesamtbildes erstellt. Verschiedene Faktoren wie Fokus oder Licht können beeinflusst werden, um das ursprüngliche Bild aufzupolieren.
Ein wissenschaftliches Team von Google hat jetzt – quasi als Nebenprodukt weiterer Forschung – drei neue Ansätze für die Nerf-Technik entwickelt. Die Ergebnisse wurden auf der Computer Vision and Pattern Recognition Conference (CVPR) vorgestellt – und sind öffentlich nutzbar.
Open Source: Google Research veröffentlicht Code für KI-Modell auf GitHub
In ihren Arbeiten haben sich die Forschenden auf drei verschiedene Bereiche spezialisiert: Mip-Nerf 360 widmet sich der Verbesserung von Rundum-Aufnahmen, Ref-Nerf legt den Fokus auf die Reproduktion von glänzenden Oberflächen, und mit Raw-Nerf lassen sich „Szenen aus extrem verrauschten Bildern rekonstruieren, die im Halbdunkel aufgenommen wurden“.
Die Ergebnisse hat das Team nicht nur in Forschungsarbeiten veröffentlicht und auf der CVPR präsentiert, sondern auch auf GitHub frei zugänglich gemacht. Dabei liefert das Readme-Dokument zum Code eine klare Ansage, dass es sich nicht um ein neues Bildbearbeitungstool, sondern eben um Forschung handelt: „Dies ist kein offiziell unterstütztes Google-Produkt.“
Googles Raw-Nerf für verrauschte Fotos: So arbeitet das KI-Modell
Wie der Name verrät, setzt das Forschungsteam bei Raw-Nerf anders als in bisherigen Ansätzen auf sogenannte Raw-Bilder, also unkomprimierte Rohdaten des Kamerasensors. Die liefern besonders viele Informationen und erleichtern damit die Reproduktion.
Selbst wenn die Rohdaten verrauscht sind, weil eine Aufnahme in schlechten Lichtverhältnissen entstanden ist, arbeite Raw-Nerf „überraschend“ gut, heißt es von den Forschern. „Diese Robustheit gegenüber Rauschen bedeutet, dass wir Raw-Nerf verwenden können, um im Dunkeln aufgenommene Szenen zu rekonstruieren.“
Einschränkungen gibt es trotzdem: Die Rohdaten beanspruchen viel Speicherplatz, Raw-Nerf kann keine Bewegungsunschärfe überarbeiten und benötige zudem deutlich mehr Rechenleistung als andere Ansätze.
