Inhaltsverzeichnis
RawNeRF in der dunklen Nacht
Fünf klassische Szenen
Vorteile von RAW
Netizen-Kommentare
Heim Technologie-Peripheriegeräte KI Googles unglaubliche „Nachtsicht'-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Googles unglaubliche „Nachtsicht'-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Apr 13, 2023 pm 04:16 PM
谷歌 3d

Kürzlich ist ein AI-Nachtszenen-Aufnahmevideo von Google viral gegangen!

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Die Technologie im Video heißt RawNeRF und ist, wie der Name schon sagt, eine neue Variante von NeRF.

NeRF ist ein vollständig verbundenes neuronales Netzwerk, das 2D-Bildinformationen als Trainingsdaten zur Wiederherstellung von 3D-Szenen verwendet.

RawNeRF hat viele Verbesserungen im Vergleich zum vorherigen NeRF. Es reduziert nicht nur das Rauschen perfekt, sondern verändert auch die Kameraperspektive und passt Fokus, Belichtung und Tonwertzuordnung an. Dieses Papier von Google wurde im November 2021 veröffentlicht und in CVPR 2022 aufgenommen.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Projektadresse: https://bmild.github.io/rawnerf/

RawNeRF in der dunklen Nacht

Zuvor war NeRF ein LDR-Bild mit niedrigem Dynamikbereich, das Tone Mapping als Eingabe verwendete .

Googles RawNeRF trainiert stattdessen direkt auf linearen Rohbildern, wodurch der volle Dynamikbereich der Szene erhalten bleiben kann.

Im Bereich der zusammengesetzten Ansichten war der Umgang mit dunklen Fotos schon immer ein Problem.

Weil in diesem Fall das Bild nur minimale Details enthält. Und diese Bilder machen es schwierig, neue Ansichten zusammenzufügen.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Glücklicherweise haben wir eine neue Lösung – die Nutzung roher Sensordaten.

Es ist ein Bild wie dieses, also haben wir mehr Details.

Allerdings gibt es immer noch ein Problem: Es gibt zu viel Lärm.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Also müssen wir eine Wahl treffen: weniger Details und weniger Rauschen oder mehr Details und mehr Rauschen.

Die gute Nachricht ist: Wir können die Bildrauschunterdrückungstechnologie nutzen.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Sie können sehen, dass der Bildeffekt nach der Rauschunterdrückung gut ist, aber für zusammengesetzte Ansichten reicht diese Qualität immer noch nicht aus.

Die Bildentrauschungstechnologie bringt uns jedoch auf eine Idee: Da wir ein einzelnes Bild entrauschen können, können wir auch eine Gruppe von Bildern entrauschen.

Werfen wir einen Blick auf die Wirkung von RawNeRF.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Und es verfügt über weitere erstaunliche Funktionen: Tone Mapping der zugrunde liegenden Daten, um mehr Details aus dunklen Bildern zu extrahieren.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Ändern Sie beispielsweise den Fokus des Bildes, um einen tollen Tiefenschärfeeffekt zu erzielen.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Was noch erstaunlicher ist, ist, dass dies in Echtzeit geschieht.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Außerdem ändert sich auch die Belichtung des Bildes entsprechend, wenn sich der Fokus ändert!

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Als nächstes werfen wir einen Blick auf fünf klassische Anwendungsszenarien von RawNeRF.

Fünf klassische Szenen

1. Bildklarheit

Wenn Sie sich dieses Bild ansehen, können Sie die Informationen auf dem Straßenschild erkennen?

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Sie können sehen, dass nach der RawNeRF-Verarbeitung die Informationen auf den Verkehrsschildern viel klarer sind.

In der Animation unten können wir deutlich den Unterschied in der Bildsynthese zwischen der ursprünglichen NeRF-Technologie und RawNeRF erkennen.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Tatsächlich ist das sogenannte NeRF keine so alte Technologie, es ist erst 2 Jahre her...

Man sieht, dass RawNeRF bei der Highlight-Verarbeitung immer noch sehr gut abschneidet können wir sogar sehen, wie sich die Hervorhebung um das Nummernschild in der unteren rechten Ecke ändert.

2. Glanzlichter

Spiegelglanzlichter sind sehr schwer einzufangen, da sie sich stark verändern, wenn Sie die Kamera bewegen, und der relative Abstand zwischen den Fotos auch relativ groß ist. Diese Faktoren stellen große Herausforderungen für Lernalgorithmen dar.
Wie Sie im Bild unten sehen können, kann man sagen, dass das von RawNeRF erzeugte Glanzlicht ziemlich wiederhergestellt ist.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

3. Dünne Struktur

Selbst in einem gut beleuchteten Szenario zeigte die vorherige Technologie den Zaun nicht gut an.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Und RawNeRF kommt mit Nachtfotos mit einer Reihe von Zäunen klar und kann mithalten.

Selbst dort, wo der Zaun das Nummernschild überlappt, ist die Wirkung immer noch sehr gut.

Googles unglaubliche „Nachtsicht'-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

4. Spiegelnde Reflexion

Die Reflexion auf der Straße ist ein anspruchsvolleres spiegelndes Highlight. Wie Sie sehen, geht RawNeRF auch sehr natürlich und realistisch damit um.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

5. Fokus ändern, Belichtung anpassen

In dieser Szene versuchen wir, die Perspektive zu ändern, den Fokus ständig zu ändern und gleichzeitig die Belichtung anzupassen.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Um diese Aufgaben zu erledigen, brauchten wir früher eine Sammlung von 25 bis 200 Fotos.

Jetzt brauchen wir nur noch ein paar Sekunden, um das Shooting abzuschließen.

Natürlich ist RawNeRF jetzt nicht perfekt. Wir können sehen, dass es immer noch einige Unterschiede zwischen dem RawNeRF-Bild links und dem echten Foto rechts gibt.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Allerdings hat RAWnerf erhebliche Fortschritte gemacht, von einer Reihe von Originalbildern voller Rauschen bis zum aktuellen Effekt. Wissen Sie, die Technologie war vor zwei Jahren dazu überhaupt nicht in der Lage.

Vorteile von RAW

Um kurz darauf einzugehen: Die NeRF-Trainingspipeline empfängt von der Kamera verarbeitete LDR-Bilder und die anschließende Szenenrekonstruktion und Ansichtswiedergabe basieren auf dem LDR-Farbraum. Daher wurde die Ausgabe von NeRF tatsächlich nachbearbeitet und es ist unmöglich, sie wesentlich zu ändern und zu bearbeiten.

Im Gegensatz dazu wird RawNeRF direkt auf linearen Roh-HDR-Eingabedaten trainiert. Das resultierende Rendering kann wie jedes Originalfoto bearbeitet werden, indem Fokus und Belichtung usw. geändert werden.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Die Hauptvorteile, die sich dadurch ergeben, sind zwei Punkte: HDR-Ansichtssynthese und Rauschunterdrückungsverarbeitung.

Bei Szenen mit extremen Helligkeitsschwankungen reicht eine feste Verschlusszeit nicht aus, um den vollen Dynamikumfang einzufangen. Das RawNeRF-Modell kann sowohl Kurz- als auch Langzeitbelichtungen gleichzeitig optimieren, um den vollen Dynamikumfang wiederherzustellen.

Zum Beispiel erfordert die Szene mit großem Lichtverhältnis in (b) einen komplexeren lokalen Tone-Mapping-Algorithmus (z. B. HDR + Nachbearbeitung), um die Details der dunklen Teile und die Highlights im Freien gleichzeitig zu bewahren.

Darüber hinaus kann RawNeRF synthetische Defokussierungseffekte mit korrekt gesättigten „unscharfen“ Glanzlichtern mithilfe linearer Farben rendern.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

In Bezug auf die Bildrauschenverarbeitung hat der Autor RawNeRF an völlig unverarbeiteten linearen HDR-Originalbildern weiter trainiert und daraus einen Algorithmus gemacht, der Dutzende oder sogar Hunderte von Eingabebildern verarbeiten kann.

Diese Robustheit bedeutet, dass RawNeRF die Aufgabe der Rekonstruktion von Szenen im Dunkeln hervorragend bewältigen kann.

In (a) dieser Nachtszene, die nur von einer Kerze beleuchtet wird, kann RawNeRF beispielsweise Details aus den verrauschten Rohdaten extrahieren, die sonst durch die Nachbearbeitung zerstört würden (b, c).

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Vorstellung des Autors

Der Erstautor des Artikels, Ben Mildenhall, ist ein Forschungswissenschaftler bei Google Research, der sich mit Computer Vision und Grafikthemen beschäftigt.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Er erhielt 2015 einen Bachelor-Abschluss in Informatik und Mathematik von der Stanford University und 2020 einen Ph.D. in Informatik von der University of California, Berkeley.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Das gerade zu Ende gegangene CVPR 2022 kann als Bens Höhepunkt bezeichnet werden.

5 der 7 angenommenen Arbeiten gewannen die mündliche Prüfung, und eine erhielt die lobende Erwähnung für die beste Studentenarbeit.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Netizen-Kommentare

Sobald das Video herauskam, überraschte es sofort alle Netizens. Lasst uns alle gemeinsam Spaß haben.

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Googles unglaubliche „Nachtsicht-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese

Angesichts der Geschwindigkeit des technologischen Fortschritts wird es nicht lange dauern, bis Sie sich keine Sorgen mehr um das Fotografieren bei Nacht machen müssen~

Das obige ist der detaillierte Inhalt vonGoogles unglaubliche „Nachtsicht'-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße Artikel -Tags

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Wie man Deepseek kommentiert Wie man Deepseek kommentiert Feb 19, 2025 pm 05:42 PM

Wie man Deepseek kommentiert

So suchen Sie Deepseek So suchen Sie Deepseek Feb 19, 2025 pm 05:39 PM

So suchen Sie Deepseek

Sesame Open Door Exchange -Webseite Registrierung Link Gate Trading App Registrierung Website Neueste Sesame Open Door Exchange -Webseite Registrierung Link Gate Trading App Registrierung Website Neueste Feb 28, 2025 am 11:06 AM

Sesame Open Door Exchange -Webseite Registrierung Link Gate Trading App Registrierung Website Neueste

Warum kann der Bybit -Exchange -Link nicht direkt heruntergeladen und installiert werden? Warum kann der Bybit -Exchange -Link nicht direkt heruntergeladen und installiert werden? Feb 21, 2025 pm 10:57 PM

Warum kann der Bybit -Exchange -Link nicht direkt heruntergeladen und installiert werden?

Sesame Open Door Trading Platform Download Mobile Version Gateio Trading Platform Download -Adresse Sesame Open Door Trading Platform Download Mobile Version Gateio Trading Platform Download -Adresse Feb 28, 2025 am 10:51 AM

Sesame Open Door Trading Platform Download Mobile Version Gateio Trading Platform Download -Adresse

Gate.io Exchange Official Registration Portal Gate.io Exchange Official Registration Portal Feb 20, 2025 pm 04:27 PM

Gate.io Exchange Official Registration Portal

Binance Binance Offizielle Website Neueste Version Anmeldeportal Binance Binance Offizielle Website Neueste Version Anmeldeportal Feb 21, 2025 pm 05:42 PM

Binance Binance Offizielle Website Neueste Version Anmeldeportal

Die neueste Download -Adresse des Bitgets im Jahr 2025: Schritte zum Erhalten der offiziellen App Die neueste Download -Adresse des Bitgets im Jahr 2025: Schritte zum Erhalten der offiziellen App Feb 25, 2025 pm 02:54 PM

Die neueste Download -Adresse des Bitgets im Jahr 2025: Schritte zum Erhalten der offiziellen App

See all articles