NeRF-Studiennotizen sind ein Muss für Anfänger und bieten Einblicke in alles!

Was genau ist das neuronale Strahlungsfeld?

Strahlungsfeld: Die Energieverteilung, die während der Ausbreitung und Reflexion des von der Lichtquelle in der Szene emittierten Lichts entsteht. Laienhaft ausgedrückt handelt es sich um eine Funktion, die die Strahlungsinformationen in einer bestimmten Richtung an einem bestimmten Ort im Raum aufzeichnet. Bei den Strahlungsinformationen (oder der Energieverteilung) handelt es sich tatsächlich um Farbe, Helligkeit, Schatten und andere Informationen. Die Richtung erfordert hier besondere Aufmerksamkeit, sie ist einer der wichtigen Faktoren für NeRF, um eine echte Rekonstruktion zu erreichen!

Dies führt zum Konzept des neuronalen Strahlungsfeldes.
Neuronales Strahlungsfeld: Verwenden Sie ein neuronales Netzwerk, um die RaumpositionStrahlung in jeder Richtung zu speichern. Die Beschreibung im Originalartikel lautet wie folgt:

Die standardisiertere Formel wird wie folgt ausgedrückt:

Geben Sie die 3D-Position (x, y, z) und die 2D-Blickrichtung () ein, und die Ausgabe ist Farb- und Volumendichte

NeRF Die spezifischen Netzwerkergebnisse beziehen sich wie folgt auf den Originaltext:

3D-Koordinaten-x-Eingabe in das erste Netzwerk fσ, einschließlich 8 vollständig verbundener Schichten, 256 Neuronen pro Schicht, ReLU-Aktivierung
Das Netzwerk fσ gibt die Volumendichte σ und einen 256-dimensionalen Vektor aus, der mit der Betrachtungsrichtung d an fc (eine Schicht, 128 Kanäle, ReLU-Aktivierung) gesendet wird, um RGB vorherzusagen Aus dem Obigen geht hervor, dass NeRF implizit modelliert wird, da das Modell in MLP gespeichert ist. Im Inneren ist das Modell der Parameter von MLP, der sich von der vorherigen Punktwolken- und Netzmodellierung unterscheidet (Punktwolke/Netz kann das Modell direkt sehen). NeRF muss dreidimensionale Punkte einzeln abfragen und sie dann in ein Bild rendern. Diese
• Anzeigemethode
oder

Rendering-Methode

wird Volumenrendering genannt.

Bevor wir uns das Volumenrendering ansehen. Schauen wir uns zunächst die Wirkung des Netzwerks an:

Man erkennt, dass die Farben unter verschiedenen Betrachtungswinkeln unterschiedlich sind! Dies ist einer der sehr wichtigen Vorteile von NeRF gegenüber der herkömmlichen Rekonstruktion ~

Der Kern von NeRF: Volumenrendering

Kommen wir zum zweiten Kernpunkt von NeRF – Volumenrendering. Volumenrendering ist eine Methode zum Rendern von Farbe und Dichte in 2D-Bildern!

Das schematische Diagramm sieht wie folgt aus: Abbildung a zeigt einen Strahl, der von der optischen Mittelposition der Kamera ausgeht. Es gibt Abtastpunkte auf dem Strahl. Die Abtastpunkte und -richtungen werden an das MLP gesendet, um die Farbe zu erhalten Volumendichte. Abbildung c zeigt die Volumendichteverteilungskurve entlang des Strahls, die durch Abtasten erhalten wird. Die Farbe des Pixels kann durch Integration der Kurve erhalten werden. Dieser Prozess ist Volumenrendering

Um die Schritte des Volumenrenderings zusammenzufassen:

Emittieren Sie einen Strahl, der jedes Pixel vom optischen Zentrum der Kamera durchdringt, und nehmen Sie einen dreidimensionalen Abtastpunkt auf dem Strahl auf;

Senden Sie den Abtastpunkt Koordinaten und Blickwinkelrichtung in MLP berechnen Farb- und Volumendichte;

integriert (stapelt) Farbinformationen nach Volumendichte, um ein 2D-Bild zu bilden

• Die Formel für die Volumenwiedergabe lautet wie folgt:

Von Natürlich wird tatsächlich die diskrete Version der Formel verwendet:

Impliziter Rekonstruktionsprozess

Nachdem wir über neuronale Strahlungsfelder und Volumenrendering gesprochen haben, beginnen wir nun mit dem vollständigen Rekonstruktionsprozess ~

Bevor wir eine vollständige Pipeline bilden, Es müssen noch zwei Probleme gelöst werden:

Um die beiden oben genannten Probleme zu lösen, schlägt NeRF eine Positionskodierung und einen geschichteten Abtastprozess vor

Positionskodierung:

Das Papier zeigt intuitiv den Wirkungsvergleich von Positionen Kodierung:

Es ist ersichtlich, dass das Modell ohne Positionscodierung keine hochfrequenten geometrischen und Texturinformationen ausdrücken kann~

Mehrschichtige Übernahme:

Der Trainingsprozess ist wie folgt:

Experiment und Zusammenfassung

Bewertungsindikatoren:

Versuchseinstellungen:

Die experimentellen Ergebnisse zeigen, dass der Astigmatismus auch an Kugeln aus verschiedenen Materialien gut ausgedrückt werden kann Ablationsexperiment :

Zusammenfassung

Das in diesem Artikel vorgeschlagene neuronale Strahlungsfeld sendet einen Abtaststrahl durch das Pixel vom optischen Zentrum der Kamera aus, wählt einen Punkt auf dem Strahl aus, verwendet ein MLP, um seine dreidimensionale Position abzubilden und Betrachten Sie die Blickrichtung auf Volumendichte und Farbe und verwenden Sie dann Volumenrendering-Stapelung, um Volumendichte und Farbe auf Strahlen abzutasten, um Pixelwerte zu erhalten. Der Fehler zwischen dem Pixelwert und dem GT-Bild wird berechnet und dann zurückpropagiert, um die MLP-Parameter zu optimieren. In diesem Artikel wird eine solche implizite Rekonstruktionsmethode verwendet, um eine fotorealistische Modellrekonstruktion und -wiedergabe zu erreichen.

Mängel:

langsame Rendering- und Trainingsgeschwindigkeit;

hohe Anforderungen an die Anzahl und Verteilung der Ansichten;

Schwierigkeit bei der Erweiterung auf Hintergrund- oder größere Szenen.

• Originallink: https://mp.weixin.qq.com/s/ctDBTaLWuHTM9MONrAor4g

Das obige ist der detaillierte Inhalt vonNeRF-Studiennotizen sind ein Muss für Anfänger und bieten Einblicke in alles!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!