Massenproduktionskiller! P-Mapnet: Durch die vorherige Verwendung der Karte SDMap mit niedriger Genauigkeit wird die Kartenleistung deutlich um fast 20 Punkte verbessert!

Geschrieben vor

Einer der Algorithmen, mit denen das aktuelle autonome Fahrsystem seine Abhängigkeit von hochpräzisen Karten beseitigt, besteht darin, die Tatsache auszunutzen, dass die Wahrnehmungsleistung im Fernbereich immer noch schlecht ist. Zu diesem Zweck schlagen wir P-MapNet vor, wobei sich „P“ auf die Fusion von Kartenprioritäten konzentriert, um die Modellleistung zu verbessern. Konkret nutzen wir die Vorinformationen in SDMap und HDMap aus: Einerseits extrahieren wir schwach ausgerichtete SDMap-Daten aus OpenStreetMap und kodieren sie in unabhängige Begriffe, um die Eingabe zu unterstützen. Es gibt ein Problem der schwachen Ausrichtung zwischen streng modifizierter Eingabe und der tatsächlichen HD+Map. Unsere auf dem Cross-Attention-Mechanismus basierende Struktur kann sich andererseits adaptiv auf das SDMap-Skelett konzentrieren und erhebliche Leistungsverbesserungen bringen MAE Um das Refine-Modul der vorherigen HDMap-Verteilung zu erfassen, hilft dieses Modul dabei, eine Verteilung zu generieren, die konsistenter mit der tatsächlichen Karte ist, und trägt dazu bei, die Auswirkungen von Okklusion, Artefakten usw. zu reduzieren. Wir führen umfangreiche experimentelle Validierungen an nuScenes- und Argoverse2-Datensätzen durch.

Abbildung 1

Zusammenfassend lauten unsere Beiträge wie folgt:

Unsere fortschrittliche SDMap kann die Leistung der Online-Kartengenerierung verbessern, einschließlich Rasterisierung (bis zu 18,73 mIoU) und Quantisierung (bis zu 8,50 mAP) Zwei Kartendarstellungen.

(2) Unser HDMap Prior kann den Kartenbekanntheitsindex um bis zu 6,34 % verbessern.

(3) P-MapNet kann in verschiedene Inferenzmodi wechseln, um Genauigkeit und Effizienz abzuwägen.

P-MapNet ist eine HD+-Kartengenerierungslösung für große Entfernungen, die eine größere Verbesserung der weiteren Erfassungsreichweite bewirken kann. Unser Code und unser Modell wurden unter https://jike5.github.io/P-MapNet/ öffentlich veröffentlicht.

Überprüfung verwandter Arbeiten

(1)Online-Kartenerstellung

HD+Die Kartenproduktion umfasst hauptsächlich SLAM-Mapping, automatische Beschriftung, manuelle Beschriftung und andere Schritte. Dies führt zu hohen Kosten und einer begrenzten Aktualität von HD+Map. Daher ist die Online-Kartenerstellung für autonome Fahrsysteme von entscheidender Bedeutung. HDMapNet drückt Kartenelemente durch Rasterung aus und verwendet pixelweise Vorhersage- und Nachbearbeitungsmethoden, um vektorisierte Vorhersageergebnisse zu erhalten. Einige neuere Methoden wie MapTR, PivotNet, Streammapnet usw. implementieren eine durchgängige vektorisierte Vorhersage basierend auf der Transformer-Architektur. Diese Methoden verwenden jedoch nur Sensoreingaben und ihre Leistung ist in komplexen Umgebungen wie Okklusion immer noch begrenzt und extremes Wetter.

(2)Kartenwahrnehmung über große Entfernungen

Um die durch Online-Karten generierten Ergebnisse besser von nachgelagerten Modulen nutzen zu können, wird in einigen Forschungsarbeiten versucht, den Umfang der Kartenwahrnehmung weiter zu erweitern. SuperFusion[7] erreicht eine Vorwärtsvorhersage über 90 m über große Entfernungen durch die Verbindung von Lidar und Kameras und die Verwendung einer tiefenabhängigen BEV-Transformation. NeuralMapPrior[8] verbessert die Qualität aktueller Online-Beobachtungen und erweitert den Wahrnehmungsbereich durch die Pflege und Aktualisierung globaler neuronaler Kartenprioritäten. [6] ermittelt BEV-Merkmale durch die Aggregation von Satellitenbildern und Fahrzeugsensordaten und prognostiziert diese weiter. MV-Map konzentriert sich auf die Offline-Erstellung von Fernkarten. Diese Methode optimiert BEV-Features durch die Aggregation aller zugehörigen Frame-Features und die Verwendung neuronaler Strahlungsfelder.

Übersicht über P-MapNet

Der Gesamtrahmen ist in Abbildung 2 dargestellt.

Abbildung 2

Eingabe: Die Systemeingabe ist Punktwolke: , Surround-Kamera:, wobei die Anzahl der Surround-Kameras ist. Eine gängige HDMap-Generierungsaufgabe (z. B. HDMapNet) kann wie folgt definiert werden:

wobei die Merkmalsextraktion darstellt, den Segmentierungskopf darstellt und das Vorhersageergebnis von HDMap ist.

Das von uns vorgeschlagene P-MapNet kombiniert SD-Map- und HD-Map-Prioritäten. Diese neue Aufgabe ( Einstellung) kann wie folgt ausgedrückt werden:

wobei die SDMap-Priorität darstellt, die in diesem Artikel vorgeschlagene Verfeinerung Modul. Das Modul lernt die HD-Kartenverteilung vorab durch Vorschulung. Wenn wir zuvor nur SDMap verwenden, erhalten wir ebenfalls die -nur-Einstellung:

Ausgabe: Für Kartengenerierungsaufgaben gibt es normalerweise zwei Kartendarstellungen: Rasterisierung und Vektorisierung. Bei der Recherche dieses Artikels konzentrieren wir uns hauptsächlich auf die gerasterte Darstellung, da die beiden in diesem Artikel entworfenen A-priori-Module besser für die gerasterte Ausgabe geeignet sind.

3.1 SDMap Vorheriges Modul

SDMap-Datengenerierung

Dieser Artikel führt Forschungen auf der Grundlage von nuScenes- und Argoverse2-Datensätzen durch, verwendet OpenStreetMap-Daten, um SD-Kartendaten für die entsprechenden Bereiche der oben genannten Datensätze zu generieren, und führt Koordinaten durch Systemtransformation durch Fahrzeug-GPS, um die SD-Karte des entsprechenden Gebiets zu erhalten.

BEV-Abfrage

Wie in Abbildung 2 gezeigt, führen wir zunächst eine Merkmalsextraktion und eine Perspektivkonvertierung der Bilddaten sowie eine Merkmalsextraktion der Punktwolke durch, um BEV-Merkmale zu erhalten. Anschließend werden die BEV-Merkmale durch das Faltungsnetzwerk heruntergetastet, um die neuen BEV-Merkmale zu erhalten, und die Feature-Map wird abgeflacht, um die BEV-Abfrage zu erhalten.

SD-Karte vor der Fusion

Für SD-Kartendaten werden nach der Merkmalsextraktion durch das Faltungsnetzwerk die erhaltenen Merkmale übergeben der Segmentierungskopf, um erste Vorhersagen von Kartenelementen zu erhalten.

3.2. Das HDMap-Prior-Modul

verwendet direkt die gerasterte HD-Karte als Eingabe des ursprünglichen MAE. Das MAE wird durch MSE Loss trainiert, wodurch es nicht als Verfeinerungsmodul verwendet werden kann. Daher ersetzen wir in diesem Artikel die Ausgabe von MAE durch unseren Segmentierungskopf. Um sicherzustellen, dass die vorhergesagten Kartenelemente Kontinuität und Authentizität aufweisen (näher an der Verteilung der tatsächlichen HD-Karte), verwenden wir zur Verfeinerung ein vorab trainiertes MAE-Modul. Das Training dieses Moduls besteht aus zwei Schritten: Der erste Schritt besteht darin, das MAE-Modul mithilfe von selbstüberwachtem Lernen zu trainieren, um die Verteilung von HD Map zu lernen, und der zweite Schritt besteht darin, alle Module des Netzwerks mithilfe der erhaltenen Gewichte zu optimieren im ersten Schritt als Anfangsgewichte. Im ersten Schritt des Vortrainings wird die aus dem Datensatz erhaltene echte HD-Karte zufällig maskiert und als Netzwerkeingabe verwendet

, und das Trainingsziel besteht darin, die HD-Karte zu vervollständigen:

Im zweiten Schritt Schritt der Feinabstimmung,

Der erste Schritt der Vortrainingsgewichte wird als Anfangsgewichte verwendet. Das vollständige Netzwerk ist:

4. Experiment

4.1 Datensätze und Indikatoren

Wir führen durch es auf zwei Mainstream-Datensätzen überprüft: nuScenes und Argoverse2. Um die Wirksamkeit unserer vorgeschlagenen Methode auf große Entfernungen nachzuweisen, stellen wir sie auf drei verschiedene Erkennungsentfernungen ein:

, . Unter ihnen beträgt die Auflösung des BEV Grid im Bereich

0,15 m und die Auflösung in den anderen beiden Bereichen beträgt 0,3 m. Wir verwenden die mIOU-Metrik, um gerasterte Vorhersageergebnisse auszuwerten, und mAP, um vektorisierte Vorhersageergebnisse auszuwerten. Um die Authentizität der Karte zu bewerten, verwenden wir auch die LPIPS-Metrik als Kartenbekanntheitsmetrik. 4.2 Ergebnisse Vergleich mit SOTA-Ergebnissen: Wir vergleichen die Kartenerstellungsergebnisse der vorgeschlagenen Methode und der aktuellen SOTA-Methode auf kurze Distanz (60 m × 30 m) und lange Distanz (90 m × 30 m). Wie in Tabelle II gezeigt, zeigt unsere Methode eine überlegene Leistung im Vergleich zu bestehenden Nur-Vision- und multimodalen (RGB+LiDAR)-Methoden.

Wir haben einen Leistungsvergleich mit HDMapNet [14] bei verschiedenen Entfernungen und unter Verwendung verschiedener Sensormodi durchgeführt. Die Ergebnisse sind in Tabelle I und Tabelle III zusammengefasst. Unsere Methode erreicht eine Verbesserung von 13,4 % gegenüber mIOU bei einer Reichweite von 240 m × 60 m. Wenn der wahrgenommene Abstand den Erfassungsbereich des Sensors überschreitet oder sogar überschreitet, wird die Wirksamkeit des SDMap-Priori wichtiger, wodurch die Wirksamkeit des SDMap-Prior bestätigt wird. Schließlich nutzen wir die HD-Karte, um weitere Leistungsverbesserungen zu erzielen, indem wir die anfänglichen Vorhersageergebnisse verfeinern, um sie realistischer zu machen und falsche Ergebnisse zu eliminieren.

HDMap vorherige Wahrnehmungsmetrik. Das vorherige HDMap-Modul ordnet die anfänglichen Vorhersagen des Netzwerks der Verteilung der HD-Karte zu und macht sie so realistischer. Um die Authentizität der HDMap-Ausgabe des vorherigen Moduls zu bewerten, haben wir die Wahrnehmungsmetrik LPIPS (je niedriger der Wert, desto besser die Leistung) zur Bewertung verwendet. Wie in Tabelle IV gezeigt, ist die Verbesserung des LPIPS-Index in der Einstellung

größer als in der Einstellung nur

.

Visualisierung:

Das obige ist der detaillierte Inhalt vonMassenproduktionskiller! P-Mapnet: Durch die vorherige Verwendung der Karte SDMap mit niedriger Genauigkeit wird die Kartenleistung deutlich um fast 20 Punkte verbessert!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!