


Googles unglaubliche „Nachtsicht'-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese
Kürzlich ist ein AI-Nachtszenen-Aufnahmevideo von Google viral gegangen!
Die Technologie im Video heißt RawNeRF und ist, wie der Name schon sagt, eine neue Variante von NeRF.
NeRF ist ein vollständig verbundenes neuronales Netzwerk, das 2D-Bildinformationen als Trainingsdaten zur Wiederherstellung von 3D-Szenen verwendet.
RawNeRF hat viele Verbesserungen im Vergleich zum vorherigen NeRF. Es reduziert nicht nur das Rauschen perfekt, sondern verändert auch die Kameraperspektive und passt Fokus, Belichtung und Tonwertzuordnung an. Dieses Papier von Google wurde im November 2021 veröffentlicht und in CVPR 2022 aufgenommen.
Projektadresse: https://bmild.github.io/rawnerf/
RawNeRF in der dunklen Nacht
Zuvor war NeRF ein LDR-Bild mit niedrigem Dynamikbereich, das Tone Mapping als Eingabe verwendete .
Googles RawNeRF trainiert stattdessen direkt auf linearen Rohbildern, wodurch der volle Dynamikbereich der Szene erhalten bleiben kann.
Im Bereich der zusammengesetzten Ansichten war der Umgang mit dunklen Fotos schon immer ein Problem.
Weil in diesem Fall das Bild nur minimale Details enthält. Und diese Bilder machen es schwierig, neue Ansichten zusammenzufügen.
Glücklicherweise haben wir eine neue Lösung – die Nutzung roher Sensordaten.
Es ist ein Bild wie dieses, also haben wir mehr Details.
Allerdings gibt es immer noch ein Problem: Es gibt zu viel Lärm.
Also müssen wir eine Wahl treffen: weniger Details und weniger Rauschen oder mehr Details und mehr Rauschen.
Die gute Nachricht ist: Wir können die Bildrauschunterdrückungstechnologie nutzen.
Sie können sehen, dass der Bildeffekt nach der Rauschunterdrückung gut ist, aber für zusammengesetzte Ansichten reicht diese Qualität immer noch nicht aus.
Die Bildentrauschungstechnologie bringt uns jedoch auf eine Idee: Da wir ein einzelnes Bild entrauschen können, können wir auch eine Gruppe von Bildern entrauschen.
Werfen wir einen Blick auf die Wirkung von RawNeRF.
Und es verfügt über weitere erstaunliche Funktionen: Tone Mapping der zugrunde liegenden Daten, um mehr Details aus dunklen Bildern zu extrahieren.
Ändern Sie beispielsweise den Fokus des Bildes, um einen tollen Tiefenschärfeeffekt zu erzielen.
Was noch erstaunlicher ist, ist, dass dies in Echtzeit geschieht.
Außerdem ändert sich auch die Belichtung des Bildes entsprechend, wenn sich der Fokus ändert!
Als nächstes werfen wir einen Blick auf fünf klassische Anwendungsszenarien von RawNeRF.
Fünf klassische Szenen
1. Bildklarheit
Wenn Sie sich dieses Bild ansehen, können Sie die Informationen auf dem Straßenschild erkennen?
Sie können sehen, dass nach der RawNeRF-Verarbeitung die Informationen auf den Verkehrsschildern viel klarer sind.
In der Animation unten können wir deutlich den Unterschied in der Bildsynthese zwischen der ursprünglichen NeRF-Technologie und RawNeRF erkennen.
Tatsächlich ist das sogenannte NeRF keine so alte Technologie, es ist erst 2 Jahre her...
Man sieht, dass RawNeRF bei der Highlight-Verarbeitung immer noch sehr gut abschneidet können wir sogar sehen, wie sich die Hervorhebung um das Nummernschild in der unteren rechten Ecke ändert.
2. Glanzlichter
Spiegelglanzlichter sind sehr schwer einzufangen, da sie sich stark verändern, wenn Sie die Kamera bewegen, und der relative Abstand zwischen den Fotos auch relativ groß ist. Diese Faktoren stellen große Herausforderungen für Lernalgorithmen dar.
Wie Sie im Bild unten sehen können, kann man sagen, dass das von RawNeRF erzeugte Glanzlicht ziemlich wiederhergestellt ist.
3. Dünne Struktur
Selbst in einem gut beleuchteten Szenario zeigte die vorherige Technologie den Zaun nicht gut an.
Und RawNeRF kommt mit Nachtfotos mit einer Reihe von Zäunen klar und kann mithalten.
Selbst dort, wo der Zaun das Nummernschild überlappt, ist die Wirkung immer noch sehr gut.
4. Spiegelnde Reflexion
Die Reflexion auf der Straße ist ein anspruchsvolleres spiegelndes Highlight. Wie Sie sehen, geht RawNeRF auch sehr natürlich und realistisch damit um.
5. Fokus ändern, Belichtung anpassen
In dieser Szene versuchen wir, die Perspektive zu ändern, den Fokus ständig zu ändern und gleichzeitig die Belichtung anzupassen.
Um diese Aufgaben zu erledigen, brauchten wir früher eine Sammlung von 25 bis 200 Fotos.
Jetzt brauchen wir nur noch ein paar Sekunden, um das Shooting abzuschließen.
Natürlich ist RawNeRF jetzt nicht perfekt. Wir können sehen, dass es immer noch einige Unterschiede zwischen dem RawNeRF-Bild links und dem echten Foto rechts gibt.
Allerdings hat RAWnerf erhebliche Fortschritte gemacht, von einer Reihe von Originalbildern voller Rauschen bis zum aktuellen Effekt. Wissen Sie, die Technologie war vor zwei Jahren dazu überhaupt nicht in der Lage.
Vorteile von RAW
Um kurz darauf einzugehen: Die NeRF-Trainingspipeline empfängt von der Kamera verarbeitete LDR-Bilder und die anschließende Szenenrekonstruktion und Ansichtswiedergabe basieren auf dem LDR-Farbraum. Daher wurde die Ausgabe von NeRF tatsächlich nachbearbeitet und es ist unmöglich, sie wesentlich zu ändern und zu bearbeiten.
Im Gegensatz dazu wird RawNeRF direkt auf linearen Roh-HDR-Eingabedaten trainiert. Das resultierende Rendering kann wie jedes Originalfoto bearbeitet werden, indem Fokus und Belichtung usw. geändert werden.
Die Hauptvorteile, die sich dadurch ergeben, sind zwei Punkte: HDR-Ansichtssynthese und Rauschunterdrückungsverarbeitung.
Bei Szenen mit extremen Helligkeitsschwankungen reicht eine feste Verschlusszeit nicht aus, um den vollen Dynamikumfang einzufangen. Das RawNeRF-Modell kann sowohl Kurz- als auch Langzeitbelichtungen gleichzeitig optimieren, um den vollen Dynamikumfang wiederherzustellen.
Zum Beispiel erfordert die Szene mit großem Lichtverhältnis in (b) einen komplexeren lokalen Tone-Mapping-Algorithmus (z. B. HDR + Nachbearbeitung), um die Details der dunklen Teile und die Highlights im Freien gleichzeitig zu bewahren.
Darüber hinaus kann RawNeRF synthetische Defokussierungseffekte mit korrekt gesättigten „unscharfen“ Glanzlichtern mithilfe linearer Farben rendern.
In Bezug auf die Bildrauschenverarbeitung hat der Autor RawNeRF an völlig unverarbeiteten linearen HDR-Originalbildern weiter trainiert und daraus einen Algorithmus gemacht, der Dutzende oder sogar Hunderte von Eingabebildern verarbeiten kann.
Diese Robustheit bedeutet, dass RawNeRF die Aufgabe der Rekonstruktion von Szenen im Dunkeln hervorragend bewältigen kann.
In (a) dieser Nachtszene, die nur von einer Kerze beleuchtet wird, kann RawNeRF beispielsweise Details aus den verrauschten Rohdaten extrahieren, die sonst durch die Nachbearbeitung zerstört würden (b, c).
Vorstellung des Autors
Der Erstautor des Artikels, Ben Mildenhall, ist ein Forschungswissenschaftler bei Google Research, der sich mit Computer Vision und Grafikthemen beschäftigt.
Er erhielt 2015 einen Bachelor-Abschluss in Informatik und Mathematik von der Stanford University und 2020 einen Ph.D. in Informatik von der University of California, Berkeley.
Das gerade zu Ende gegangene CVPR 2022 kann als Bens Höhepunkt bezeichnet werden.
5 der 7 angenommenen Arbeiten gewannen die mündliche Prüfung, und eine erhielt die lobende Erwähnung für die beste Studentenarbeit.
Netizen-Kommentare
Sobald das Video herauskam, überraschte es sofort alle Netizens. Lasst uns alle gemeinsam Spaß haben.
Angesichts der Geschwindigkeit des technologischen Fortschritts wird es nicht lange dauern, bis Sie sich keine Sorgen mehr um das Fotografieren bei Nacht machen müssen~
Das obige ist der detaillierte Inhalt vonGoogles unglaubliche „Nachtsicht'-Kamera wurde plötzlich populär! Perfekte Rauschunterdrückung und 3D-Perspektivsynthese. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

In diesem Artikel wird der Registrierungsprozess der Webversion Sesam Open Exchange (GATE.IO) und die Gate Trading App im Detail vorgestellt. Unabhängig davon, ob es sich um eine Webregistrierung oder eine App -Registrierung handelt, müssen Sie die offizielle Website oder den offiziellen App Store besuchen, um die Genuine App herunterzuladen, und dann den Benutzernamen, das Kennwort, die E -Mail, die Mobiltelefonnummer und die anderen Informationen eingeben und eine E -Mail- oder Mobiltelefonüberprüfung abschließen.

Warum kann der Bybit -Exchange -Link nicht direkt heruntergeladen und installiert werden? Bitbit ist eine Kryptowährungsbörse, die den Benutzern Handelsdienste anbietet. Die mobilen Apps der Exchange können aus den folgenden Gründen nicht direkt über AppStore oder Googleplay heruntergeladen werden: 1. App Store -Richtlinie beschränkt Apple und Google daran, strenge Anforderungen an die im App Store zulässigen Anwendungsarten zu haben. Kryptowährungsanträge erfüllen diese Anforderungen häufig nicht, da sie Finanzdienstleistungen einbeziehen und spezifische Vorschriften und Sicherheitsstandards erfordern. 2. Die Einhaltung von Gesetzen und Vorschriften In vielen Ländern werden Aktivitäten im Zusammenhang mit Kryptowährungstransaktionen reguliert oder eingeschränkt. Um diese Vorschriften einzuhalten, kann die Bitbit -Anwendung nur über offizielle Websites oder andere autorisierte Kanäle verwendet werden

Eine detaillierte Einführung in den Anmeldungsbetrieb der Sesame Open Exchange -Webversion, einschließlich Anmeldeschritte und Kennwortwiederherstellungsprozess.

Dieser Artikel empfiehlt die Top Ten Ten Cryptocurrency -Handelsplattformen, die es wert sind, auf Binance, OKX, Gate.io, Bitflyer, Kucoin, Bybit, Coinbase Pro, Kraken, BYDFI und Xbit -dezentrale Börsen geachtet zu werden. Diese Plattformen haben ihre eigenen Vorteile in Bezug auf Transaktionswährungsmenge, Transaktionstyp, Sicherheit, Konformität und Besonderheiten. Die Auswahl einer geeigneten Plattform erfordert eine umfassende Überlegung, die auf eigener Handelserfahrung, Risikotoleranz und Investitionspräferenzen basiert. Ich hoffe, dieser Artikel hilft Ihnen dabei, den besten Anzug für sich selbst zu finden

Es ist wichtig, einen formalen Kanal auszuwählen, um die App herunterzuladen und die Sicherheit Ihres Kontos zu gewährleisten.

Befolgen Sie diese einfachen Schritte, um auf die neueste Version des Binance -Website -Login -Portals zuzugreifen. Gehen Sie zur offiziellen Website und klicken Sie in der oberen rechten Ecke auf die Schaltfläche "Anmeldung". Wählen Sie Ihre vorhandene Anmeldemethode. Geben Sie Ihre registrierte Handynummer oder E -Mail und Kennwort ein und vervollständigen Sie die Authentifizierung (z. B. Mobilfifizierungscode oder Google Authenticator). Nach einer erfolgreichen Überprüfung können Sie auf das neueste Version des offiziellen Website -Login -Portals von Binance zugreifen.

Dieser Leitfaden enthält detaillierte Download- und Installationsschritte für die offizielle Bitget Exchange -App, die für Android- und iOS -Systeme geeignet ist. Der Leitfaden integriert Informationen aus mehreren maßgeblichen Quellen, einschließlich der offiziellen Website, dem App Store und Google Play, und betont Überlegungen während des Downloads und des Kontoverwaltung. Benutzer können die App aus offiziellen Kanälen herunterladen, einschließlich App Store, offizieller Website APK Download und offizieller Website -Sprung sowie vollständige Registrierung, Identitätsüberprüfung und Sicherheitseinstellungen. Darüber hinaus deckt der Handbuch häufig gestellte Fragen und Überlegungen ab, wie z.

Dieser Leitfaden enthält detaillierte Download- und Installationsschritte für die offizielle Bitget Exchange -App, die für Android- und iOS -Systeme geeignet ist. Der Leitfaden integriert Informationen aus mehreren maßgeblichen Quellen, einschließlich der offiziellen Website, dem App Store und Google Play, und betont Überlegungen während des Downloads und des Kontoverwaltung. Benutzer können die App aus offiziellen Kanälen herunterladen, einschließlich App Store, offizieller Website APK Download und offizieller Website -Sprung sowie vollständige Registrierung, Identitätsüberprüfung und Sicherheitseinstellungen. Darüber hinaus deckt der Handbuch häufig gestellte Fragen und Überlegungen ab, wie z.
