Ist der Zustand des eigenen Fahrzeugs alles, was Sie für ein durchgängiges autonomes Fahren mit offenem Regelkreis benötigen?

Originaltitel: Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving?

Paper-Link: https://arxiv.org/abs/2312.03031

Code-Link: https://github. com/NVlabs/BEV-Planner

Autorenzugehörigkeit: Nanjing University NVIDIA

Thesis-Idee:

End-to-End-Autonomes Fahren hat sich kürzlich als vielversprechende Forschungsrichtung herausgestellt, die darauf abzielt, einen Full-Stack zu verfolgen Perspektivautomatisierung. In diesem Sinne basieren viele neuere Arbeiten auf einer Open-Loop-Bewertungseinstellung, um das Planungsverhalten auf nuScenes zu untersuchen. Dieser Artikel untersucht dieses Problem eingehender, indem er eine gründliche Analyse durchführt und das Rätsel detaillierter aufdeckt. In diesem Artikel wurde zunächst festgestellt, dass der nuScenes-Datensatz, der relativ einfache Fahrszenen enthält, zu einer unzureichenden Nutzung von Wahrnehmungsinformationen in End-to-End-Modellen führt, die den Ego-Status, wie beispielsweise die Geschwindigkeit des Egos, berücksichtigen. Diese Modelle stützen sich bei der zukünftigen Wegplanung in erster Linie auf den Zustand des eigenen Fahrzeugs. Zusätzlich zu den Einschränkungen des Datensatzes stellt das Papier fest, dass aktuelle Indikatoren keine umfassende Bewertung der Planungsqualität ermöglichen, was zu potenziell verzerrten Schlussfolgerungen aus bestehenden Benchmarks führen kann. Um dieses Problem zu lösen, wird in diesem Artikel eine neue Metrik eingeführt, um zu bewerten, ob die vorhergesagte Flugbahn der Straße folgt. In diesem Artikel wird außerdem eine einfache Basislinie vorgeschlagen, mit der wettbewerbsfähige Ergebnisse erzielt werden können, ohne auf Wahrnehmungsanmerkungen angewiesen zu sein. Angesichts der Einschränkungen bestehender Benchmarks und Metriken empfiehlt dieser Artikel der akademischen Gemeinschaft, die relevante Mainstream-Forschung neu zu bewerten und sorgfältig zu prüfen, ob die fortgesetzte Verfolgung modernster Technologie zu überzeugenden allgemeinen Schlussfolgerungen führen wird.

Hauptbeiträge:

Das auf nuScenes basierende autonome Fahrmodell mit offenem Regelkreis wird erheblich vom Zustand des eigenen Fahrzeugs (Geschwindigkeit, Beschleunigung, Gierwinkel) beeinflusst, und diese Faktoren spielen eine Schlüsselrolle bei der Planungsleistung. Wenn der Zustand des eigenen Fahrzeugs beteiligt ist, wird die Trajektorienvorhersage des Modells hauptsächlich von diesem gesteuert, was zu einer verringerten Nutzung sensorischer Informationen führen kann.

Vorhandene Planungsmetriken bewerten die tatsächliche Leistung des Modells möglicherweise nicht vollständig. Es kann zu erheblichen Unterschieden in den Bewertungsergebnissen von Modellen unter verschiedenen Indikatoren kommen. Daher wird empfohlen, vielfältigere und umfassendere Indikatoren zur Bewertung der Leistung des Modells einzuführen, um zu vermeiden, dass das Modell nur bei bestimmten Indikatoren eine gute Leistung erbringt und andere potenzielle Risiken ignoriert.

Im Vergleich zur Erzielung modernster Leistung mit dem vorhandenen nuScenes-Datensatz wird die Entwicklung anwendbarerer Datensätze und Metriken als eine kritischere und dringendere Herausforderung angesehen.

Thesis-Design:

Das Ziel des durchgängigen autonomen Fahrens besteht darin, Wahrnehmung und Planung umfassend zu berücksichtigen und im Full-Stack-Stil umzusetzen [1, 5, 32, 35]. Die grundlegende Motivation besteht darin, die Wahrnehmung autonomer Fahrzeuge (AVs) als Mittel zur Erreichung eines Ziels (Planung) zu betrachten, anstatt sich bei der Anpassung übermäßig auf eine Wahrnehmungsmetrik zu verlassen.

Im Gegensatz zur Wahrnehmung ist Planung meist ergebnisoffener und schwieriger zu quantifizieren [6, 7]. Im Idealfall unterstützt die offene Natur der Planung einen geschlossenen Bewertungsaufbau, bei dem andere Agenten auf das Verhalten des eigenen Fahrzeugs reagieren können und sich die Rohdaten der Sensoren entsprechend ändern können. Allerdings bleiben die Modellierung des Agentenverhaltens und die Simulation realer Daten [8, 19] in Closed-Loop-Simulatoren bislang schwierige ungelöste Probleme. Daher führt die Bewertung im geschlossenen Regelkreis unweigerlich zu erheblichen Domänenlücken gegenüber der realen Welt.

Andererseits zielt die Open-Loop-Bewertung darauf ab, menschliches Fahren als reale Situation zu behandeln und Planung als Nachahmungslernen zu formulieren [13]. Diese Darstellung ermöglicht die direkte Nutzung realer Datensätze durch einfache Protokollwiedergabe und vermeidet Domänenlücken aus Simulationen. Darüber hinaus bietet es weitere Vorteile, beispielsweise die Möglichkeit, Modelle in komplexen und vielfältigen Verkehrsszenarien zu trainieren und zu validieren, die in Simulationen oft nur schwer mit hoher Genauigkeit zu generieren sind [5]. Aufgrund dieser Vorteile konzentriert sich ein etablierter Forschungsbereich auf das durchgängige autonome Fahren mit offenem Regelkreis unter Verwendung realer Datensätze [2, 12, 13, 16, 43].

Derzeit beliebte End-to-End-Methoden für autonomes Fahren [12, 13, 16, 43] verwenden normalerweise nuScenes[2] zur Open-Loop-Bewertung ihres Planungsverhaltens. Beispielsweise untersuchte UniAD [13] den Einfluss verschiedener Wahrnehmungsaufgabenmodule auf das endgültige Planungsverhalten. ADMLP [45] hat jedoch kürzlich darauf hingewiesen, dass ein einfaches MLP-Netzwerk auch hochmoderne Planungsergebnisse erzielen kann, die nur auf Ego-Statusinformationen basieren. Dies hat diesen Artikel dazu inspiriert, eine wichtige Frage aufzuwerfen:

Erfordert das durchgängige autonome Fahren mit offenem Regelkreis nur Informationen zum Ego-Status?

Die Antwort auf diesen Artikel lautet „Ja“ und „Nein“, wenn man die Vor- und Nachteile der Verwendung von Ego-Statusinformationen in aktuellen Benchmarks berücksichtigt:

Ja. Die Informationen im Ego-Status, wie Geschwindigkeit, Beschleunigung und Gierwinkel, sollten offensichtlich für die Ausführung von Planungsaufgaben von Vorteil sein. Um dies zu überprüfen, löst dieses Papier ein offenes Problem von AD-MLP und entfernt die Verwendung historischer Trajectory Ground Truths (GTs), um potenzielle Etikettenlecks zu verhindern. Das in dieser Arbeit reproduzierte Modell, Ego-MLP (Abbildung 1 a.2), basiert nur auf dem Ego-Status und ist hinsichtlich der vorhandenen L2-Distanz- und Kollisionsratenmetriken mit modernsten Methoden vergleichbar. Eine weitere Beobachtung ist, dass nur bestehende Methoden [13, 16, 43], die Ego-Statusinformationen in das Planungsmodul integrieren, vergleichbare Ergebnisse wie Ego-MLP erzielen können. Obwohl diese Methoden zusätzliche Wahrnehmungsinformationen nutzen (Tracking, HD-Karten usw.), haben sie sich gegenüber Ego-MLP nicht als überlegen erwiesen. Diese Beobachtungen bestätigen die dominierende Rolle des Ego-Status bei der End-to-End-Bewertung des autonomen Fahrens im offenen Regelkreis.

Nein. Natürlich sollte sich autonomes Fahren als sicherheitskritische Anwendung bei Entscheidungen nicht allein auf den Ego-Status verlassen. Warum kommt es also vor, dass die fortschrittlichsten Planungsergebnisse nur mithilfe des Ego-Status erzielt werden können? Um diese Frage zu beantworten, präsentiert dieses Papier eine umfassende Reihe von Analysen zu bestehenden End-to-End-Ansätzen für autonomes Fahren mit offenem Regelkreis. In diesem Papier werden wesentliche Mängel in der bestehenden Forschung identifiziert, einschließlich Aspekten im Zusammenhang mit Datensätzen, Bewertungsmetriken und spezifischen Modellimplementierungen. Im Rest dieses Abschnitts werden diese Mängel im Artikel aufgeführt und detailliert beschrieben:

Datensatzungleichgewicht. NuScenes ist ein häufig verwendeter Benchmark für Open-Loop-Bewertungsaufgaben [11–13, 16, 17, 43]. Die Analyse in diesem Dokument zeigt jedoch, dass 73,9 % der nuScenes-Daten geradlinige Fahrszenarien betreffen, wie die in Abbildung 2 dargestellte Trajektorienverteilung widerspiegelt. Bei diesen Geradeausfahrszenarien reicht es in den meisten Fällen aus, die aktuelle Geschwindigkeit, Richtung oder Lenkgeschwindigkeit beizubehalten. Daher können Ego-Statusinformationen problemlos als Abkürzung zur Anpassung an Planungsaufgaben verwendet werden, was zu der starken Leistung von Ego-MLP auf nuScenes führt.

Die vorhandenen Bewertungsindikatoren sind nicht umfassend. Die verbleibenden 26,1 % der NuScenes-Daten betreffen anspruchsvollere Fahrszenarien und sind möglicherweise ein besserer Maßstab für das Planungsverhalten. In diesem Artikel wird jedoch davon ausgegangen, dass die weit verbreiteten aktuellen Bewertungsindikatoren, wie der L2-Abstand zwischen der Vorhersage und dem geplanten wahren Wert sowie die Kollisionsrate zwischen dem eigenen Fahrzeug und umgebenden Hindernissen, die Qualität des Planungsverhaltens des Modells nicht genau messen können. Durch die Visualisierung zahlreicher vorhergesagter Trajektorien, die mit verschiedenen Methoden generiert wurden, stellt dieses Papier fest, dass einige Trajektorien mit hohem Risiko, wie z. B. das Fahren abseits der Straße, in den vorhandenen Metriken möglicherweise nicht stark bestraft werden. Um auf dieses Problem zu reagieren, stellt dieser Artikel eine neue Bewertungsmetrik zur Berechnung der Interaktionsrate zwischen der vorhergesagten Trajektorie und der Straßengrenze vor. Der Benchmark erfährt eine erhebliche Verschiebung, wenn man sich auf die Kreuzungsraten mit Straßengrenzen konzentriert. Unter dieser neuen Bewertungsmetrik tendiert Ego-MLP dazu, Flugbahnen vorherzusagen, die häufiger von der Straße abweichen als UniAD.

Der Ego-Status-Bias widerspricht der Fahrlogik. Da der Ego-Status zu einer Überanpassung führen kann, wurde in diesem Artikel außerdem ein interessantes Phänomen beobachtet. Die experimentellen Ergebnisse dieser Arbeit zeigen, dass in einigen Fällen die vollständige Entfernung visueller Eingaben aus bestehenden End-to-End-Frameworks für autonomes Fahren die Qualität des Planungsverhaltens nicht wesentlich beeinträchtigt. Dies widerspricht der grundlegenden Fahrlogik, da von der Wahrnehmung erwartet wird, dass sie nützliche Informationen für die Planung liefert. Beispielsweise führt das Blockieren aller Kameraeingänge in VAD [16] zu einem vollständigen Ausfall des Wahrnehmungsmoduls, aber nur zu einer minimalen Verschlechterung der Planung, wenn ein Ego-Status vorliegt. Eine Änderung der Eigengeschwindigkeit der Eingabe kann jedoch erhebliche Auswirkungen auf die endgültige vorhergesagte Flugbahn haben.

Zusammenfassend wird in diesem Artikel spekuliert, dass die jüngsten Bemühungen im Bereich des durchgängigen autonomen Fahrens und die neuesten Ergebnisse auf nuScenes wahrscheinlich auf eine übermäßige Abhängigkeit vom Ego-Status gepaart mit der Dominanz des einfachen Fahrens zurückzuführen sind Szenarien verursacht. Darüber hinaus reichen die aktuellen Bewertungsmetriken nicht aus, um die Qualität der vom Modell vorhergesagten Trajektorien umfassend zu bewerten. Diese offenen Fragen und Mängel unterschätzen möglicherweise die potenzielle Komplexität der Planungsaufgabe und erwecken den irreführenden Eindruck, dass der Ego-Status alles ist, was man für das durchgängige autonome Fahren mit offenem Regelkreis braucht.

Die potenzielle Beeinträchtigung des Ego-Status in der aktuellen Open-Loop-End-to-End-Forschung zum autonomen Fahren wirft eine weitere Frage auf: Kann dieser Effekt ausgeglichen werden, indem der Ego-Status aus dem gesamten Modell entfernt wird? Es ist jedoch anzumerken, dass selbst wenn der Einfluss des Ego-Status ausgeschlossen wird, die Zuverlässigkeit der auf dem nuScenes-Datensatz basierenden Open-Loop-Forschung zum autonomen Fahren immer noch fraglich ist.

Bild 1. (a) AD-MLP verwendet sowohl den Ego-Status als auch den wahren Wert vergangener Trajektorien als Eingabe. Die in diesem Artikel wiedergegebene Version (Ego-MLP) hat die vergangene Spur entfernt. (b) Der bestehende End-to-End-Prozess des autonomen Fahrens umfasst Wahrnehmungs-, Vorhersage- und Planungsmodule. Der Ego-Status kann in das Bird's Eye View (BEV)-Generierungsmodul oder Planungsmodul integriert werden. (c) Dieses Papier entwirft eine einfache Basislinie für den Vergleich mit bestehenden Methoden. Diese einfache Basislinie nutzt keine Wahrnehmungs- oder Vorhersagemodule, sondern sagt die endgültige Flugbahn basierend auf BEV-Merkmalen direkt voraus.

Bild 2. (a) Wärmekarte der Fahrzeugtrajektorien im nuScenes-Datensatz. (b) Die meisten Szenen im nuScenes-Datensatz bestehen aus Situationen beim Geradeausfahren.

Bild 3. Aktuelle Methoden [12, 13, 16] vernachlässigen die Berücksichtigung der Gierwinkeländerung des eigenen Fahrzeugs und behalten immer einen Gierwinkel von 0 bei (dargestellt durch das graue Fahrzeug), was zu einer falsch negativen (a) und falsch positiven (b) Kollisionserkennung führt Ereignisse. In diesem Artikel wird der Gierwinkel des Fahrzeugs (dargestellt durch das rote Fahrzeug) geschätzt, indem Änderungen in der Flugbahn des Fahrzeugs geschätzt werden, um die Genauigkeit der Kollisionserkennung zu verbessern.

Bild 4. Dieses Papier zeigt die vorhergesagten Trajektorien eines VAD-Modells (das den Ego-Status in seinen Planer einbezieht) unter verschiedenen Bildverfälschungsszenarien. Alle Trajektorien in einer bestimmten Szene (über 20 Sekunden) werden in einem globalen Koordinatensystem dargestellt. Jede Dreiecksmarkierung stellt den tatsächlichen Flugbahnpunkt des eigenen Fahrzeugs dar, und unterschiedliche Farben repräsentieren unterschiedliche Zeitschritte. Es ist erwähnenswert, dass die vorhergesagte Flugbahn des Modells auch dann angemessen bleibt, wenn die Eingabe ein leeres Bild ist. Allerdings sind die Trajektorien innerhalb der roten Box suboptimal, wie in Abbildung 5 näher erläutert. Obwohl alle Rundumsichtbilder beschädigt sind, wird zur einfacheren Visualisierung nur das Vorderansichtsbild angezeigt, das dem anfänglichen Zeitschritt entspricht.

Bild 5. Bei autonomen Fahrmethoden mit offenem Regelkreis werden zukünftige Trajektorien ausgehend von der Startposition des eigenen Fahrzeugs vorhergesagt. Im Rahmen des Imitation-Learning-Paradigmas sollten die vorhergesagten Trajektorien idealerweise eng an den tatsächlichen Ground-Truth-Trajektorien ausgerichtet sein. Darüber hinaus sollten die vorhergesagten Trajektorien in aufeinanderfolgenden Zeitschritten konsistent bleiben, um die Kontinuität und Reibungslosigkeit der Fahrstrategie sicherzustellen. Daher weicht die im roten Kasten in Abbildung 4 dargestellte vorhergesagte Flugbahn nicht nur von der tatsächlichen Flugbahn ab, sondern weist auch bei verschiedenen Zeitstempeln erhebliche Abweichungen auf.

Bild 6. Für ein VAD-basiertes Modell, das den Ego-Status in seinen Planer einbezieht, führt dieser Artikel zu Rauschen in der Ego-Geschwindigkeit, während der visuelle Input konstant bleibt. Es ist erwähnenswert, dass die resultierende Flugbahn erhebliche Änderungen aufweist, wenn die Geschwindigkeitsdaten des eigenen Fahrzeugs gestört werden. Wird die Geschwindigkeit des Fahrzeugs auf Null gesetzt, führt dies zu Vorhersagen einer stationären Bewegung, während eine Geschwindigkeit von 100 m/s zu Vorhersagen unrealistischer Flugbahnen führt. Dies weist darauf hin, dass das Wahrnehmungsmodul zwar weiterhin genaue Umgebungsinformationen liefert, der Entscheidungsprozess des Modells jedoch zu sehr vom Ego-Status abhängt.

Bild 7. BEVFormer kombiniert Ego-Statusinformationen im Initialisierungsprozess der BEV-Abfrage, ein Detail, das von den aktuellen End-to-End-Methoden für autonomes Fahren nicht abgedeckt wird [13, 16, 43].

Bild 8. Die Einführung von Ego-Statusinformationen in BEV-Planner++ ermöglicht eine sehr schnelle Konvergenz des Modells.

Bild 9. Vergleichen Sie die BEV-Merkmale der Basislinie dieses Artikels mit den entsprechenden Szenarien.

Experimentelle Ergebnisse:

Zusammenfassung des Papiers:

Dieses Papier bietet eine eingehende Analyse der inhärenten Mängel aktueller End-to-End-Methoden für das autonome Fahren mit offenem Regelkreis. Ziel dieser Arbeit ist es, Forschungsergebnisse einzubringen und die fortschreitende Entwicklung des durchgängigen autonomen Fahrens voranzutreiben.

Zitat:

Li Z, Yu Z, Lan S, et al. Ist der Ego-Status alles, was Sie für das durchgängige autonome Fahren mit offenem Regelkreis benötigen?[J]

Das obige ist der detaillierte Inhalt vonIst der Zustand des eigenen Fahrzeugs alles, was Sie für ein durchgängiges autonomes Fahren mit offenem Regelkreis benötigen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!