Echtzeit-Rendering: Dynamische Stadtszenenmodellierung basierend auf Straßen-Gauß-Funktionen

Um ehrlich zu sein, ist die Geschwindigkeit der Technologieaktualisierung tatsächlich sehr hoch, was auch dazu geführt hat, dass einige alte Methoden in der Wissenschaft nach und nach durch neue Methoden ersetzt wurden. Kürzlich hat ein Forschungsteam der Zhejiang-Universität eine neue Methode namens Gauß-Methode vorgeschlagen, die große Aufmerksamkeit erregt hat. Diese Methode bietet einzigartige Vorteile bei der Lösung von Problemen und wurde erfolgreich in der Arbeit eingesetzt. Obwohl Nerf in der Wissenschaft nach und nach an Einfluss verloren hat

Um Spielern zu helfen, die das Level noch nicht bestanden haben, werfen wir einen Blick auf die spezifischen Methoden zum Lösen von Rätseln im Spiel.

Um Spielern zu helfen, die das Level noch nicht bestanden haben, können wir gemeinsam die spezifischen Methoden zum Lösen des Rätsels erlernen. Zu diesem Zweck habe ich einen Artikel zum Thema Rätsellösen gefunden, der Link ist hier: https://arxiv.org/pdf/2401.01339.pdf. In diesem Dokument erfahren Sie mehr über Techniken zum Lösen von Rätseln. Ich hoffe, das hilft den Spielern!

Dieser Artikel zielt darauf ab, das Problem der Modellierung dynamischer städtischer Straßenszenen aus monokularen Videos zu lösen. Jüngste Methoden haben NeRF erweitert, um die Verfolgung von Fahrzeugposen in animierte Fahrzeuge zu integrieren und so eine fotorealistische Ansichtssynthese dynamischer städtischer Straßenszenen zu ermöglichen. Ihre wesentlichen Einschränkungen sind jedoch die langsamen Trainings- und Rendering-Geschwindigkeiten sowie die dringende Notwendigkeit einer hohen Genauigkeit bei der Verfolgung der Fahrzeugposen. In diesem Artikel wird Street Gaußians vorgestellt, eine neue explizite Szenendarstellung, die all diese Einschränkungen berücksichtigt. Konkret werden dynamische Stadtstraßen als eine Reihe von Punktwolken dargestellt, die mit semantischen Logits und 3D-Gaußkurven ausgestattet sind und jeweils einem Fahrzeug im Vordergrund oder Hintergrund zugeordnet sind.

Um die Dynamik von Objektfahrzeugen im Vordergrund zu modellieren, kann jede Objektpunktwolke mithilfe optimierbarer Tracking-Posen sowie dynamischer sphärischer harmonischer Modelle dynamischer Erscheinung optimiert werden. Diese explizite Darstellung ermöglicht eine einfache Synthese von Zielfahrzeugen und Hintergründen sowie Szenenbearbeitungsvorgänge und das Rendern mit 133 FPS (Auflösung 1066 x 1600) innerhalb einer halben Stunde Training. Die Forscher bewerteten diesen Ansatz anhand mehrerer anspruchsvoller Benchmarks, darunter der KITTI- und Waymo Open-Datensätze.

Experimentelle Ergebnisse zeigen, dass unsere vorgeschlagene Methode die vorhandenen Techniken bei allen Datensätzen durchweg übertrifft. Obwohl wir uns ausschließlich auf Poseninformationen von handelsüblichen Trackern verlassen, bietet unsere Darstellung eine Leistung, die mit der vergleichbar ist, die mit echten Poseninformationen erzielt wird.

Um Spielern zu helfen, die das Level noch nicht bestanden haben, stelle ich Ihnen einen Link zur Verfügung: https://zju3dv.github.io/streetgaussians/, wo Sie die spezifische Rätsellösungsmethode finden. Sie können als Referenz auf den Link klicken. Ich hoffe, er kann Ihnen helfen. „Einführung in die Straßen-Gauß-Methode“ jeder Standpunkt. Um dieses Ziel zu erreichen, wird eine neue Szenendarstellung namens Street Gaußians vorgeschlagen, die speziell für die Darstellung dynamischer Straßenszenen entwickelt wurde. Wie in Abbildung 2 dargestellt, wird die dynamische städtische Straßenszene als eine Reihe von Punktwolken dargestellt, wobei jede Punktwolke einem statischen Hintergrund oder einem fahrenden Fahrzeug entspricht. Die explizite punktbasierte Darstellung ermöglicht eine einfache Zusammensetzung einzelner Modelle und ermöglicht Echtzeit-Rendering sowie die Zerlegung von Vordergrundobjekten für Bearbeitungsanwendungen. Die vorgeschlagene Szenendarstellung kann effizient trainiert werden, indem nur RGB-Bilder zusammen mit den Posen von verfolgten Fahrzeugen von handelsüblichen Trackern verwendet werden, was durch unsere Strategie zur Optimierung der Posen von verfolgten Fahrzeugen verbessert wird.

Straßen-Gaussian-Übersicht Wie unten gezeigt, werden dynamische städtische Straßenszenen als eine Reihe punktbasierter Hintergrund- und Vordergrundziele mit optimierten Kettenfahrzeugposen dargestellt. Jedem Punkt wird ein 3D-Gaußscher Wert zugewiesen, einschließlich Position, Opazität und Kovarianz, bestehend aus Rotation und Skalierung, um die Geometrie darzustellen. Um das Erscheinungsbild darzustellen, wird jedem Hintergrundpunkt ein sphärisches harmonisches Modell zugewiesen, während dem Vordergrundpunkt ein dynamisches sphärisches harmonisches Modell zugeordnet wird. Die explizite punktbasierte Darstellung ermöglicht die einfache Kombination separater Modelle, was das Rendern hochwertiger Bilder und semantischer Karten in Echtzeit ermöglicht (optional, wenn während des Trainings semantische 2D-Informationen bereitgestellt werden) sowie die Zerlegung von Vordergrundobjekten zur Bearbeitung der Anwendung

Vergleich experimenteller Ergebnisse

Wir haben Experimente mit dem offenen Waymo-Datensatz und dem KITTI-Benchmark durchgeführt. Aus dem offenen Datensatz von Waymo wurden 6 Aufnahmesequenzen ausgewählt, die eine große Anzahl sich bewegender Objekte, erhebliche Ego-Bewegungen und komplexe Lichtverhältnisse enthielten. Die Länge aller Sequenzen beträgt ungefähr 100 Bilder, und alle 10 Bilder in der Sequenz werden als Testbilder ausgewählt und die restlichen Bilder werden für das Training verwendet. Als sich herausstellte, dass unsere Basismethode beim Training mit hochauflösenden Bildern einen hohen Speicheraufwand verursachte, wurden die Eingabebilder auf 1066 x 1600 herunterskaliert. Bei KITTI und Vitural KITTI 2 wurden die Einstellungen von MARS verfolgt und unter Verwendung verschiedener Trainings-/Test-Split-Einstellungen bewertet. Verwenden Sie die vom Detektor und Tracker generierten Begrenzungsrahmen im Waymo-Datensatz und verwenden Sie die offiziell von KITTI bereitgestellte Zielflugbahn.

Vergleichen Sie unsere Methode mit drei aktuellen Methoden.

(1) NSG stellt den Hintergrund als Bild mit mehreren Ebenen dar und modelliert sich bewegende Objekte mithilfe latenter Codes, die für jedes Objekt gelernt wurden, und gemeinsam genutzter Decoder.

(2) MARS erstellt Szenendiagramme basierend auf Nerfstudio.

(3) 3D-Gaußsche Modelle der Szene mithilfe einer Reihe anisotroper Gaußscher Modelle.

Sowohl NSG als auch MARS werden mithilfe von GT-Boxen trainiert und bewertet. Hier werden verschiedene Versionen ihrer Implementierungen ausprobiert und die besten Ergebnisse für jede Sequenz werden gemeldet. Für einen fairen Vergleich ersetzen wir auch SfM-Punktwolken in 3D-Gauß-Karten durch die gleichen Eingaben wie unsere Methode. Weitere Informationen finden Sie in den Zusatzinformationen.

Originallink: https://mp.weixin.qq.com/s/oikZWcR47otm7xfU90JH4g

Das obige ist der detaillierte Inhalt vonEchtzeit-Rendering: Dynamische Stadtszenenmodellierung basierend auf Straßen-Gauß-Funktionen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!