Erweiterte Fahrsimulation: Fahrszenenrekonstruktion mit realistischen Umgebungsdaten

Originaltitel: DrivingGaussian: Zusammengesetztes Gaußsches Punktrendering für umgebungsdynamische autonome Fahrszenen

Bitte klicken Sie hier, um das Papier anzuzeigen: https://arxiv.org/pdf/2312.07920.pdf

Code-Link: https://pkuvdig . github.io/DrivingGaussian/

Autorenzugehörigkeit: Peking University Google Research University of California, Merced

Idee für die Abschlussarbeit:

Dieses Papier schlägt DrivingGaussian vor, eine hocheffiziente und kostengünstige Lösung für dynamische autonome Fahrszenarien . rahmen. Für komplexe Szenen mit sich bewegenden Objekten verwendet dieser Artikel zunächst inkrementelle statische 3D-Gauß-Funktionen, um den statischen Hintergrund der gesamten Szene sequentiell und schrittweise zu modellieren. Anschließend verwendet dieser Artikel einen zusammengesetzten dynamischen Gaußschen Graphen, um mehrere sich bewegende Objekte zu verarbeiten, jedes Objekt einzeln zu rekonstruieren und ihre genaue Position und Okklusionsbeziehung in der Szene wiederherzustellen. In diesem Artikel werden außerdem LiDAR-Prioritäten für Gaußsches Splatting verwendet, um die Szene mit mehr Details zu rekonstruieren und die Panoramakonsistenz beizubehalten. DrivingGaussian übertrifft bestehende Methoden zur Rekonstruktion von Fahrszenen und ermöglicht eine realistische Surround-View-Synthese mit hoher Wiedergabetreue und Multikamera-Konsistenz.

Hauptbeiträge:

Laut diesem Artikel ist DrivingGaussian das erste Framework, das die zusammengesetzte Gaußsche Splash-Technologie für die Darstellung und Modellierung dynamischer Fahrszenen in großem Maßstab verwendet.

Führt zwei neuartige Module ein, darunter inkrementelles statisches 3D-Gaußsches und zusammengesetztes dynamisches Modul Gaußsche Diagramme. Ersteres rekonstruiert inkrementell einen statischen Hintergrund, während letzteres mehrere dynamische Objekte mithilfe von Gaußschen Karten modelliert. Mithilfe von Lidar-Prioritäten hilft die Methode dabei, die vollständige Geometrie in groß angelegten Fahrszenarien wiederherzustellen.

Umfassende Experimente zeigen, dass DrivingGaussian frühere Methoden bei anspruchsvollen Benchmarks für autonomes Fahren übertrifft und in der Lage ist, verschiedene Extremsituationen für nachgelagerte Aufgaben zu simulieren.

Netzwerkdesign:

In diesem Artikel wird ein neues Framework namens DrivingGaussian zur Darstellung dynamischer autonomer Fahrszenarien mit Rundumsicht vorgestellt. Die Kernidee dieses Frameworks besteht darin, komplexe Fahrszenarien mithilfe sequenzieller Daten mehrerer Sensoren hierarchisch zu modellieren. Mithilfe der Composite Gaussian Splatting-Technologie wird die gesamte Szene in statische Hintergründe und dynamische Objekte zerlegt und jeder Teil separat rekonstruiert. Konkret wird zunächst eine synthetische Szene sequentiell aus umherblickenden Ansichten mehrerer Kameras unter Verwendung einer inkrementellen statischen 3D-Gauß-Methode erstellt. Anschließend wird eine zusammengesetzte dynamische Gaußsche Karte verwendet, um jedes sich bewegende Objekt einzeln zu rekonstruieren und sie durch die Gaußsche Karte dynamisch in den statischen Hintergrund zu integrieren. Auf dieser Grundlage wird ein globales Rendering durch Gaußsches Splatting durchgeführt, um Okklusionsbeziehungen in der realen Welt, einschließlich statischer Hintergründe und dynamischer Objekte, zu erfassen. Darüber hinaus wird in diesem Artikel auch ein LiDAR vor der GS-Darstellung eingeführt, das in der Lage ist, genauere Geometrien wiederherzustellen und eine bessere Konsistenz mehrerer Ansichten im Vergleich zu Punktwolken aufrechtzuerhalten, die durch zufällige Initialisierung oder SfM generiert wurden

Eine große Anzahl von Experimenten zeigt, dass Unsere Methode erreicht Spitzenleistungen bei öffentlichen Datensätzen zum autonomen Fahren. Auch ohne vorheriges Lidar zeigt unsere Methode immer noch eine gute Leistung und demonstriert ihre Vielseitigkeit bei der Rekonstruktion großer dynamischer Szenen. Darüber hinaus unterstützt das Framework dieses Artikels die dynamische Szenenkonstruktion und Eckfallsimulation, was dabei hilft, die Sicherheit und Robustheit des autonomen Fahrsystems zu überprüfen.

Abbildung 1. DrivingGaussian erreicht eine realistische Renderleistung dynamischer autonomer Fahrszenen mit Rundumsicht. Naive Methoden [13, 49] erzeugen entweder unangenehme Artefakte und Unschärfen in großflächigen Hintergründen oder haben Schwierigkeiten bei der Rekonstruktion dynamischer Objekte und detaillierter Szenengeometrie. DrivingGaussian führte erstmals Composite Gaussian Splatting ein, um statische Hintergründe und mehrere dynamische Objekte in komplexen Fahrszenen mit Rundumsicht effektiv darzustellen. DrivingGaussian ermöglicht eine hochwertige Synthese von Surround-Ansichten über mehrere Kameras hinweg und erleichtert die langfristige dynamische Szenenrekonstruktion.

Abbildung 2. Der Gesamtprozess der Methode in diesem Artikel. Links: DrivingGaussian erfasst kontinuierlich Daten von mehreren Sensoren, einschließlich Bildern mehrerer Kameras und LiDAR. Mitte: Zur Darstellung großräumiger dynamischer Fahrszenarien wird in diesem Artikel das Composite Gaussian Splatting vorgeschlagen, das aus zwei Teilen besteht. Der erste Teil rekonstruiert schrittweise einen breiten statischen Hintergrund, während der zweite Teil Gaußsche Karten verwendet, um mehrere dynamische Objekte zu konstruieren und sie dynamisch in die Szene zu integrieren. Rechts: DrivingGaussian zeigt eine gute Leistung bei mehreren Aufgaben und Anwendungsszenarien.

Abbildung 3. Zusammengesetztes Gaußsches Splatting mit inkrementellen statischen 3D-Gaußschen und dynamischen Gaußschen Diagrammen. Dieser Artikel verwendet Composite Gaußian Splatting, um die gesamte Szene in statische Hintergründe und dynamische Objekte zu zerlegen, jeden Teil separat zu rekonstruieren und sie für das globale Rendering zu integrieren.

Experimentelle Ergebnisse:

Zusammenfassung:

Dieser Artikel stellt DrivingGaussian vor, eine Methode, die auf dem vorgeschlagenen Composite Gaussian Splatting A basiert neuartiges Framework zur Darstellung groß angelegter dynamischer autonomer Fahrszenarien. DrivingGaussian modelliert schrittweise einen statischen Hintergrund mithilfe inkrementeller statischer 3D-Gauß-Funktionen und erfasst mehrere sich bewegende Objekte mithilfe zusammengesetzter dynamischer Gauß-Karten. In diesem Artikel werden LiDAR-Priors weiter genutzt, um eine genaue Geometrie und Konsistenz bei mehreren Ansichten zu erreichen. DrivingGaussian erreicht modernste Leistung bei zwei autonomen Fahrdatensätzen und ermöglicht eine hochwertige Surround-View-Synthese und dynamische Szenenrekonstruktion

Zitat:

Zhou, X., Lin, Z., Shan, X. , Wang, Y., Sun, D., & Yang, M. (2023): Zusammengesetztes Gaußsches Splatting für dynamische autonome Fahrszenen /abs/2312.07920

Originallink:https:/ / www.php.cn/link/a878dbebc902328b41dbf02aa87abb58

Das obige ist der detaillierte Inhalt vonErweiterte Fahrsimulation: Fahrszenenrekonstruktion mit realistischen Umgebungsdaten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!