Neuer Titel: Echtzeit-Rendering weiterentwickelt! Innovative Methode der 3D-Rekonstruktion auf Strahlenbasis

Bilder

Papier-Link:https://arxiv.org/pdf/2310.19629

Code-Link:https://github.com/vLAR-group/RayDF

Homepage:Erforderlich Der umgeschriebene Inhalt ist: https://vlar-group.github.io/RayDF.html

Der umgeschriebene Inhalt: Implementierungsmethode:

Der Gesamtprozess und die Komponenten von RayDF sind wie folgt (siehe Abbildung 1)

1. Einführung

In vielen hochmodernen Anwendungen im Bereich der maschinellen Bildverarbeitung und Robotik lernen Sie drei präzise und effiziente -dimensionale Formausdrücke sind sehr wichtig. Allerdings erfordern bestehende implizite Ausdrücke, die auf 3D-Koordinaten basieren, hohe Rechenkosten, wenn sie 3D-Formen darstellen oder 2D-Bilder rendern. Im Gegensatz dazu können strahlenbasierte Methoden effizient auf 3D-Formen schließen. Bestehende strahlenbasierte Methoden berücksichtigen jedoch nicht die geometrische Konsistenz unter mehreren Betrachtungswinkeln, was es schwierig macht, genaue geometrische Formen unter unbekannten Betrachtungswinkeln wiederherzustellen. Um diese Probleme anzugehen, schlägt dieser Artikel eine neue Methode vor, die die geometrische Konsistenz über mehrere Betrachtungswinkel hinweg aufrechterhält Betrachtungswinkel. Eine strahlenbasierte implizite Ausdrucksmethode namens RayDF. Diese Methode basiert auf einem einfachen Strahloberflächen-Abstandsfeld. Durch die Einführung eines neuen Dual-Ray-Sichtbarkeitsklassifikators und eines Moduls zur Optimierung der Konsistenz mehrerer Ansichten können Sie lernen, einen Strahloberflächenabstand zu erhalten, der die geometrische Konsistenz mehrerer Betrachtungswinkel erfüllt . Experimentelle Ergebnisse zeigen, dass die modifizierte Methode bei drei Datensätzen eine überlegene 3D-Oberflächenrekonstruktionsleistung erzielt und eine 1000-mal schnellere Rendering-Geschwindigkeit als die koordinatenbasierte Methode erreicht (siehe Tabelle 1).

Die folgenden Hauptbeiträge sind:

Dieser Ausdruck verwendet das Strahloberflächen-Abstandsfeld zur Darstellung dreidimensionaler Formen und ist effizienter als vorhandene koordinatenbasierte Ausdrücke.

Entwickelt wurde ein neuer Zweistrahl-Sichtbarkeitsklassifikator. Durch das Erlernen der räumlichen Beziehung jedes Strahlenpaares kann das erlernte Strahl-Oberflächen-Abstandsfeld unter mehreren Betrachtungswinkeln geometrische Konsistenz beibehalten.
• 
  
Die Genauigkeit und Effizienz dieser Methode bei der 3D-Formrekonstruktion wurde anhand mehrerer Datensätze nachgewiesen.
• 
  
• 2. Methode
  
2.1 Übersicht

Wie in Abbildung 1 dargestellt, umfasst RayDF zwei Netzwerke und ein Optimierungsmodul. Für das Strahl-Oberflächen-Abstandsnetzwerk des Hauptnetzwerks müssen Sie nur einen Strahl eingeben, um den Abstandswert zwischen dem Startpunkt des Strahls und dem vom Strahl getroffenen geometrischen Oberflächenpunkt zu erhalten. Unter diesen verwendet RayDF, wie in Abbildung 2 dargestellt, eine Kugel, die die dreidimensionale Szene umgibt, um den Eingabestrahl zu parametrisieren, und verwendet die parametrisierten vierdimensionalen Kugelkoordinaten (Einfallspunkt und Austrittspunkt) als Netzwerkeingabe. Für den Zweistrahl-Sichtbarkeitsklassifikator des Hilfsnetzwerks wird als Eingabe ein Strahlenpaar und ein geometrischer Oberflächenpunkt verwendet, um die gegenseitige Sichtbarkeit zwischen den beiden Strahlen vorherzusagen. Nach dem Training wird dieses Hilfsnetzwerk eine Schlüsselrolle im nachfolgenden Modul zur Konsistenzoptimierung mit mehreren Ansichten spielen.

Abbildung 2 Strahlparametrisierung und Netzwerkstruktur des Strahl-Oberflächen-Abstandsfeldes

2.2 Dual-ray Visibility Classifier

Das Hilfsnetzwerk in dieser Methode ist eine Vorhersage, ob die beiden Eingangsstrahlen gleichzeitig eine Oberfläche sehen können Zeit Binärer Klassifikator für Punkte. Wie in Abbildung 3 dargestellt, werden die aus den beiden Eingangsstrahlen erhaltenen Merkmale gemittelt, um sicherzustellen, dass die vorhergesagten Ergebnisse nicht durch die Reihenfolge der beiden Strahlen beeinflusst werden. Gleichzeitig werden die durch separate Codierung von Oberflächenpunkten erhaltenen Merkmale nach den Strahlmerkmalen gespleißt, um die Strahlmerkmale zu verbessern und dadurch die Genauigkeit des Klassifikators zu verbessern.

Die Rahmenstruktur des Dual-Ray-Sichtbarkeitsklassifizierers ist in Abbildung 3 dargestellt. Das Schlüsselmodul der Multi-View-Konsistenzoptimierung wird eingeführt, um ein zweistufiges Training in den beiden Netzwerken durchzuführen.

(1) Konstruieren Sie zunächst die Strahlenpaare für das Training für den Dual-Ray-Sichtbarkeitsklassifikator des Hilfsnetzwerks. Für einen Strahl in einem Bild (entsprechend einem Pixel im Bild) kann der entsprechende Raumoberflächenpunkt anhand seines Strahloberflächenabstands projiziert werden, um einen anderen Strahl und diesen Strahl zu erhalten Es gibt einen entsprechenden Abstand zwischen den Strahlen und der Oberfläche. Der Artikel legt einen Schwellenwert von 10 mm fest, um festzustellen, ob zwei Strahlen füreinander sichtbar sind.

(2) Die zweite Stufe besteht darin, das Strahl-Oberflächen-Entfernungsnetzwerk des Hauptnetzwerks so zu trainieren, dass sein vorhergesagtes Entfernungsfeld der Multi-View-Konsistenz entspricht. Wie in Abbildung 4 dargestellt, wird für einen Hauptstrahl und seine Oberflächenpunkte der Oberflächenpunkt gleichmäßig als Mittelpunkt der Kugel abgetastet, und es werden mehrere Mehrfachansichtsstrahlen erhalten. Koppeln Sie den Hauptstrahl nacheinander mit diesen Mehrfachsichtstrahlen, und ihre gegenseitige Sichtbarkeit kann durch den trainierten Dual-Ray-Sichtbarkeitsklassifizierer ermittelt werden. Sagen Sie dann den Strahloberflächenabstand dieser Strahlen über das Strahloberflächenabstandsnetzwerk voraus. Wenn der Hauptstrahl und ein bestimmter Abtaststrahl gegenseitig sichtbar sind, sollten die durch die Strahloberflächenabstände der beiden Strahlen berechneten Oberflächenpunkte gleich sein Punkt; entsprechend Die entsprechende Verlustfunktion wird entworfen und das Hauptnetzwerk trainiert, was letztendlich ermöglicht, dass das Strahlenoberflächen-Distanzfeld die Konsistenz mehrerer Ansichten erreicht.

2.4 Ableitung der Oberflächennormalen und Entfernung von Ausreißernpunkten

Da der Tiefenwert am Rand der Szenenoberfläche häufig Mutationen (Diskontinuität) aufweist und das neuronale Netzwerk eine kontinuierliche Funktion ist, gilt dies für das obige Strahl-Oberflächen-Abstandsfeld Auf der Oberfläche können ungenaue Abstandswerte am Rand leicht vorhergesagt werden, was zu Rauschen auf der geometrischen Oberfläche am Rand führt. Glücklicherweise weist das entworfene Strahl-Oberflächen-Abstandsfeld eine gute Funktion auf, wie in Abbildung 5 dargestellt. Der Normalenvektor jedes geschätzten dreidimensionalen Oberflächenpunkts kann durch automatische Differenzierung des Netzwerks leicht in geschlossener Form gefunden werden. Daher kann der euklidische Abstand des Normalenvektors des Oberflächenpunkts während der Netzwerkinferenzphase berechnet werden. Wenn der Abstandswert größer als der Schwellenwert ist, wird der Oberflächenpunkt als Ausreißer betrachtet und eliminiert, wodurch ein sauberes dreidimensionales Bild erhalten wird rekonstruierte Oberfläche.

Abbildung 5 Oberflächennormalberechnung

III Experimente

Um die Wirksamkeit der vorgeschlagenen Methode zu überprüfen, haben wir Experimente mit drei Datensätzen durchgeführt. Diese drei Datensätze sind der synthetische Datensatz Blender auf Objektebene [1], der synthetische Datensatz DM-SR auf Szenenebene [2] und der reale Datensatz ScanNet auf Szenenebene [3]. Für den Leistungsvergleich haben wir sieben Basislinien ausgewählt. Unter diesen sind OF [4]/DeepSDF [5]/NDF [6]/NeuS [7] koordinatenbasierte Level-Set-Methoden, DS-NeRF [8] ist eine tiefenüberwachte NeRF-basierte Methode und LFN [ 9] und PRIF [10] sind zwei strahlenbasierte Basislinien

Aufgrund der Einfachheit der RayDF-Methode, direkt einen Strahlungszweig zum Erlernen von Texturen hinzuzufügen, kann sie mit Basismodellen verglichen werden, die die Vorhersage von Strahlungsfeldern unterstützen. Daher sind die Vergleichsexperimente dieser Arbeit in zwei Gruppen unterteilt. Die erste Gruppe (Gruppe 1) sagt nur die Entfernung (Geometrie) voraus, und die zweite Gruppe (Gruppe 2) sagt sowohl die Entfernung als auch die Strahldichte (Geometrie und Textur) voraus

3.1 Bewertung auf Blender Dataset

Wie aus Tabelle 2 und Abbildung 6 ersichtlich ist, erzielt RayDF in Gruppe 1 und 2 bessere Ergebnisse bei der Oberflächenrekonstruktion, insbesondere beim wichtigsten ADE-Indikator, der deutlich besser ist als Basislinien basierend auf Koordinaten und Strahlen. Gleichzeitig erreichte RayDF hinsichtlich der Strahlungsfeldwiedergabe eine mit DS-NeRF vergleichbare und bessere Leistung als LFN und PRIF.

Abbildung 6 Visueller Vergleich des Blender-Datensatzes

3.2 Auswertung des DM-SR-Datensatzes

Wie aus Tabelle 3 ersichtlich ist, übertrifft RayDF beim kritischsten ADE-Indikator alle Basislinien. Gleichzeitig konnte RayDF im Experiment der Gruppe 2 eine qualitativ hochwertige neue Ansichtssynthese erzielen und gleichzeitig sicherstellen, dass die genaue Oberflächenform wiederhergestellt wurde (siehe Abbildung 7).

Abbildung 7 Visueller Vergleich des DM-SR-Datensatzes

3.3 Auswertung des ScanNet-Datensatzes

Tabelle 4 vergleicht die Leistung von RayDF und Basislinien in anspruchsvollen realen Szenarien. In der ersten und zweiten Gruppe übertrifft RayDF die Basiswerte in fast allen Bewertungsmetriken deutlich und zeigt klare Vorteile bei der Wiederherstellung komplexer realer 3D-Szenen

Das Folgende ist Abbildung 8 ScanNet Umgeschriebener Inhalt für den visuellen Vergleich von Datensätzen: In Abbildung 8 zeigen wir die visuellen Vergleichsergebnisse des ScanNet-Datensatzes

3.4 Ablationsstudie

Ein Ablationsexperiment wurde mit dem Blender-Datensatz durchgeführt. Tabelle 5 im Artikel zeigt die Ablation des wichtigsten Dual-Ray-Sichtbarkeitsklassifikators. Die experimentellen Ergebnisse

• sind in Tabelle 5 (1) dargestellt. Ohne die Hilfe des Dual-Ray-Sichtbarkeitsklassifikators kann das Strahloberflächen-Abstandsfeld keinen angemessenen Abstandswert für die Strahlen unter dem neuen Betrachtungswinkel vorhersagen (siehe Abbildung). 9).
  
• Bei der Eingabe des Klassifikators werden die eingegebenen Oberflächenpunktkoordinaten als Hilfsinformationen ausgewählt, wie in Tabelle 5 (2) und (3) gezeigt. Wenn der Oberflächenpunktabstandswert als Hilfsinformation ausgewählt wird oder keine Hilfsinformationen bereitgestellt werden, Der Klassifikator führt zu einer geringeren Genauigkeit und F1-Bewertung, was zu unzureichenden Sichtbarkeitsinformationen für das Strahlenoberflächen-Entfernungsnetzwerk führt und dadurch falsche Entfernungswerte vorhersagt.
  
• Wie in Tabelle 5 (4) gezeigt, weist der trainierte Klassifikator durch asymmetrische Eingabe eines Strahlenpaares eine höhere Genauigkeit, aber einen niedrigeren F1-Score auf. Dies zeigt, dass dieser Klassifikator deutlich weniger robust ist als ein mit symmetrischen Eingabestrahlen trainierter Klassifikator.
  

Andere Resektionsoperationen können im Papier und im Papieranhang eingesehen werden

Der Inhalt, der neu geschrieben werden muss, ist: Abbildung 9 zeigt den visuellen Vergleich der Verwendung eines Klassifikators und der Nichtverwendung eines Klassifikators

IV. Schlussfolgerung

Bei der Durchführung von Untersuchungen mit einem strahlenbasierten Multi-View-Konsistenzrahmen kam das Papier zu dem Schluss, dass die dreidimensionale Formdarstellung mit dieser Methode effizient und genau erlernt werden kann. In der Arbeit wird ein einfaches Strahlenoberflächen-Abstandsfeld verwendet, um die Geometrie dreidimensionaler Formen darzustellen, und ein neuartiger Dual-Ray-Sichtbarkeitsklassifikator wird verwendet, um die geometrische Konsistenz mehrerer Ansichten weiter zu erreichen. Experimente mit mehreren Datensätzen haben gezeigt, dass die RayDF-Methode eine extrem hohe Rendering-Effizienz und eine hervorragende Leistung aufweist. Weitere Erweiterungen des RayDF-Frameworks sind willkommen. Weitere Visualisierungsergebnisse können Sie auf der Homepage ansehen

Der Inhalt, der neu geschrieben werden muss, ist: https://vlar-group.github.io/RayDF.html

Der Inhalt, der neu geschrieben werden muss, ist: Original Link:https://mp.weixin.qq.com/s/dsrSHKT4NfgdDPYcKOhcOA

Das obige ist der detaillierte Inhalt vonNeuer Titel: Echtzeit-Rendering weiterentwickelt! Innovative Methode der 3D-Rekonstruktion auf Strahlenbasis. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!