NeRF hat keine „Angst“ mehr vor nahezu spiegelnden Reflexionen
Frühere NeRF-Varianten verwendeten mehrschichtige Perzeptrone (MLPs), um 3D-Koordinaten auf Volumendichte und vom Blickwinkel abhängige Farben abzubilden, stellten jedoch detaillierte 3D-Geometrie und Farben dar. Das erforderliche große MLPs sind extrem langsam zu trainieren und zu bewerten. Die jüngste Arbeit konzentrierte sich darauf, NeRF effizienter zu machen, indem große MLPs durch voxelgitterartige Datenstrukturen oder eine Kombination aus Gittern und kleinen MLPs ersetzt wurden. Obwohl es skalierbar ist, um detaillierte großformatige Szenen darzustellen, beschränken sich seine Vorteile auf 3D-Geometrie und überwiegend diffuse Farben .
Die Erweiterung der Fähigkeit von NeRF, ein realistisches, vom Standpunkt abhängiges Erscheinungsbild zu modellieren, bleibt eine Herausforderung. Aktuelle Modelle für die Synthese glänzender Objektansichten sind in zweierlei Hinsicht eingeschränkt: Sie können nur genaue Reflexionen entfernter Umgebungsbeleuchtung synthetisieren und sind bei der Wiedergabe realistischer Reflexionen von Inhalten in der Nähe von Szenen nur unzureichend leistungsfähig. Das Vertrauen auf große MLPs zur Darstellung der vom Blickwinkel abhängigen ausgehenden Strahlung an jedem Punkt lässt sich nur schwer auf größere realistische Szenen mit detaillierten Reflexionen skalieren.
- NeRF-Casting ist eine Methode zur Lösung dieser Probleme durch die Einführung von Raytracing in das NeRF-Renderingmodell. Es umfasst hauptsächlich drei Bereiche:
-
Reflexionsmodellierung
: Traditionelle Methoden der Reflexionsmodellierung nutzen physikalische Gesetze und bildbasierte Techniken, um Oberflächenreflexionseigenschaften darzustellen. In den letzten Jahren wurden neuronale Netze zum Erlernen von Reflexionseigenschaften, insbesondere unter komplexen Materialien und Lichtverhältnissen, eingesetzt.
- Raytracing: Raytracing ist eine weit verbreitete Computergrafiktechnik, die realistische Bilder erzeugt, indem sie die Wechselwirkung von Licht mit Objektoberflächen simuliert. Raytracing-Techniken wurden verwendet, um hochwertige Reflexions- und Brechungseffekte zu erzeugen, allerdings mit hohem Rechenaufwand.
- 3D-Bildgebung: Bei der 3D-Bildgebungstechnologie werden dreidimensionale Darstellungen aus Multi-View-Daten erstellt. NeRF und andere neuronale Netzwerkmethoden haben im Bereich der 3D-Bildgebung erhebliche Fortschritte gemacht, indem sie die 3D-Geometrie und Farbverteilung einer Szene erlernt haben, um neue Ansichten zu generieren.
Interessierte Freunde können sich den Videoeffekt ansehen: https://nerf-casting.github.io
Modelldetails
NeRF-Castings
Drei Hauptziele:
Ich hoffe, es zu schaffen, ohne auf die Berechnungsmenge angewiesen zu sein Modellieren Sie genaue, detaillierte Reflexionen ohne große MLP-Auswertungen. Sie möchten nur wenig reflektiertes Licht abgeben.
Sie möchten den Rechenaufwand minimieren, der erforderlich ist, um unsere Darstellung an jedem Punkt dieser reflektierten Strahlen nachzuschlagen. -
- Basierend auf Zip-NeRF[2]: nutzt ein mehrskaliges Hash-Gitter zum Speichern von 3D-Features, ein kleines MLP (1 Schicht, Breite 64) zum Dekodieren dieser Features in Dichten, ein größeres MLP (3 Schichten, Breite 256). ) Dekodieren Sie diese Merkmale in Farben. Dies bedeutet, dass es relativ kostengünstig ist, die Dichte und Eigenschaften einer Probe entlang eines Strahls abzufragen. Angesichts dieser Einschränkungen wird der folgende Prozess befolgt, um ein spiegelndes Erscheinungsbild zu rendern:
- Fragen Sie die Volumendichte entlang jedes Kamerastrahls ab, um den erwarteten Endpunkt und die Oberflächennormale des Strahls zu berechnen.
Projiziert einen Reflexionskegel durch den gewünschten Endpunkt in Richtung der Reflexion.
Verwenden Sie einen kleinen MLP, um die akkumulierten Reflexionsmerkmale mit anderen abgetasteten Größen (z. B. diffuse Farbmerkmale und Mischgewichte für jede Probe) zu kombinieren, um einen Farbwert für jede Probe entlang des Strahls zu generieren. - Alpha-Kombination dieser Muster und Dichten, um die endgültige Farbe zu erhalten.
-
-
-
Reflexionskegelverfolgung
Konstruieren Sie dann eine neue Richtung des reflektierten Lichts, indem Sie den ursprünglichen Strahl an der Oberflächennormalen reflektieren
Konische Reflexionseigenschaften
Nachdem nun eine vMF-Verteilung definiert wurde, die die Reflexionsstrahlen abdeckt, besteht das Ziel darin, die erwarteten Volumenwiedergabeeigenschaften auf der vMF-Verteilung abzuschätzen und dann zu dekodieren zur reflektierten Farbe. Dieses erwartete Merkmal kann wie folgt geschrieben werden:
Die Integralschätzung über zufällig abgetastete Strahlen mithilfe von Monte-Carlo-Methoden ist sehr teuer, da jede Stichprobe eine Volumendarstellung entlang des Strahls erfordert. Inspiriert durch Zip-NeRF wird dieses Integral mithilfe eines kleinen Satzes repräsentativer Stichproben in Kombination mit Merkmalssubtraktion angenähert. Im Gegensatz zu Zip-NeRF führen wir jedoch beide Operationen im zweidimensionalen Richtungsbereich und nicht im dreidimensionalen euklidischen Raum durch.
Richtungsabtastung
Abschwächung der Reflexionsfunktion
Die oben beschriebene Richtungsabtastung hilft dabei, einen kleinen repräsentativen Satz von Strahlen für die Mittelung auszuwählen. Bei Oberflächen mit hoher Rauheit können die abgetasteten Strahlen jedoch relativ zu den darunter liegenden 3D-Gitterzellen weit voneinander entfernt sein. Dies bedeutet, dass die Merkmale in Gleichung 9 Artefakten unterliegen können und kleine Änderungen in der Richtung des reflektierten Strahls große Änderungen im Erscheinungsbild verursachen können.
Um dies zu verhindern, passen Sie die „Feature Down-Weighting“-Technologie in Zip-NeRF an die Ausrichtungseinstellungen an. Dies wird erreicht, indem Merkmale, die Voxeln entsprechen, die im Vergleich zum vMF-Kegel kleiner sind, mit einem kleinen Multiplikator multipliziert werden, wodurch ihr Einfluss auf die gerenderte Farbe verringert wird. Definieren Sie gemäß dem Zip-NeRF-Ansatz das gewichtsreduzierte Merkmal an einem Punkt. Den Abtastpunkten wird mithilfe einer konvexen Kombination zweier Farbkomponenten eine Farbe zugewiesen:
Die erste Farbkomponente Cv ähnelt dem typischen NeRF-Ansichtsabhängigen Erscheinungsmodell: 
Die zweite Komponente Cr soll ein glänzendes Erscheinungsbild simulieren, berechnet wie folgt:
Geometrische Darstellung und Regularisierung
Wertschätzung des Effekts
Zusammenfassend: NeRF-Casting ist eine Methode zum Rendern von Szenen mit Highlight-Objekten mithilfe neuronaler Strahlungsfelder (NeRF).
Methode
: Reflexionskegel werden von Oberflächen in der Szene reflektiert und über NeRF verfolgt, kombiniert mit einer Reihe neuartiger Techniken zum Anti-Aliasing dieser Reflexionen, was die Synthese präzise detaillierter Reflexionen sowohl für Fern- als auch für Nahfeldinhalte ermöglicht. Die Reflexionen bewegen sich gleichmäßig und gleichmäßig über die Oberfläche.
Diskussion
: Übertrifft quantitativ vorhandene Ansichtssynthesetechniken, insbesondere für glatte Oberflächen mit detaillierten Spiegelreflexionen. Qualitative visuelle Verbesserungen werden durch quantitative Verbesserungen der Bildmetriken bei weitem aufgewogen. Besonders hervorzuheben ist die gleichmäßige und gleichmäßige Bewegung der mit dieser Methode synthetisierten Reflexionen, die realistischer ist als das ansichtsabhängige Erscheinungsbild der Basismethoden.
Dies zeigt, dass Standard-Bildfehlermetriken (PSNR, SSIM usw.) nicht ausreichen, um die Qualität der ansichtsabhängigen Darstellung zu beurteilen.
Das obige ist der detaillierte Inhalt vonHochglänzender reflektierender Abschluss? Google NeRF-Casting: Raytracing kann es!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
