Beim autonomen Fahren befindet sich die Trajektorienvorhersage im Allgemeinen am hinteren Ende des Wahrnehmungsmoduls, und das vordere Ende des Steuermoduls ist ein Verbindungsmodul. Geben Sie die vom Wahrnehmungsmodul bereitgestellten Zustandsinformationen und Straßenstrukturinformationen der Zielspur ein, berücksichtigen Sie umfassend hochpräzise Karteninformationen, Interaktionsinformationen zwischen Zielen, semantische Informationen der Umgebung und Absichtsinformationen des Ziels und treffen Sie Absichten für verschiedene wahrgenommene Ziele . Vorhersage (ein-/ausschalten, geradeaus) und Flugbahnvorhersage für einen Zeitraum in der Zukunft (im Bereich von 0–5 Sekunden). Wie unten gezeigt.
ADAS-Systeme müssen über bestimmte kognitive Fähigkeiten in Bezug auf Umgebungsinformationen verfügen. Die grundlegendste Ebene besteht darin, die Umgebung zu erkennen, die nächste Ebene muss die Umgebung verstehen und die nächste Ebene muss die Umgebung vorhersagen. Nach der Vorhersage des Ziels kann der Controller den Weg des Fahrzeugs auf der Grundlage der vorhergesagten Informationen planen und Entscheidungen zum Bremsen oder zur Ausgabe von Warnungen vor möglichen Gefahrensituationen treffen. Dies ist der Zweck des Flugbahnvorhersagemoduls.
Die Flugbahnvorhersage kann in kurzfristige Vorhersagen und langfristige Vorhersagen unterteilt werden.
Es gibt zwei Herausforderungen für die langfristige Flugbahnvorhersage:
Die Unsicherheit, die die langfristige Flugbahnvorhersage beeinflusst, beruht hauptsächlich auf drei Aspekten:
Vier Aspekte, die für das Flugbahnvorhersagesystem berücksichtigt werden sollten:
Die folgende Abbildung zeigt die Klassifizierungsmethode im Übersichtsartikel [2] von Bosch.
Welche allgemeinen Algorithmen sind speziell an der Flugbahnvorhersage beteiligt?
Welche spezifischen Informationen können also für die Flugbahnvorhersage verwendet werden?
Derzeit gibt es in der Wissenschaft immer mehr Arbeiten zur Flugbahnvorhersage. Der Hauptgrund dafür ist, dass es in der Branche keine wirksame Methode gibt.
Das Folgende sind Branchenpapiere:
BMW: physikalisches Modell + Absichtsvorhersage (lernbasiert). Heuristische Methoden werden verwendet, um Expertenwissen zu integrieren, das Interaktionsmodell zu vereinfachen und spieltheoretische Ideen zum Klassifizierungsmodell der Absichtsvorhersage hinzuzufügen [3].
BENZ: Hauptsächlich verwandte Artikel zur Absichtsvorhersage unter Verwendung von DBN[4].
Uber: LaneRCNN[5].
Google: VectorNet[6].
Huawei: ZUHAUSE[7].
Waymo: TNT[8].
Aptiv: Covernet[9].
NEC: R2P2[10].
SenseTime: TPNet[11].
Meituan: StarNet[12]. Fußgänger.
Aibee: Sophie[13]. Fußgänger.
MIT: Social lstm[14]. Fußgänger.
Universität für Wissenschaft und Technologie von China: STGAT[15]. Fußgänger.
Baidu: Lane-Attention[16].
Apollo: Sie können den folgenden Blog als Referenz sehen.
https://www.cnblogs.com/liuzubing/p/11388485.html
Das Vorhersagemodul von Apollo erhält Eingaben von den Wahrnehmungs-, Positionierungs- und Kartenmodulen.
1. Zunächst wurde die Szene in zwei Szenen aufgeteilt: normale Fahrtstraße und Kreuzung.
2. Unterteilen Sie dann die Bedeutung der wahrgenommenen Ziele in Ziele, die ignoriert werden können (keine Auswirkungen auf Ihr eigenes Auto haben), Ziele, die mit Vorsicht gehandhabt werden müssen (kann Auswirkungen auf Ihr eigenes Auto haben) und gewöhnliche Ziele (dazwischen). die beiden).
3. Geben Sie dann den Evaluator ein, bei dem es sich im Wesentlichen um eine Absichtsvorhersage handelt.
4. Geben Sie schließlich den Prädiktor ein, der zur Vorhersage der Trajektorienerzeugung verwendet wird. Führen Sie unterschiedliche Vorgänge für unterschiedliche Szenarien aus, z. B. stationäre Ziele, Fahren entlang der Straße, FreeMove und Kreuzungen. 5 Datensatz: 1) NGSIM Straßen Der Fahrstatus des Fahrzeugs während eines bestimmten Zeitraums. Die Daten werden mit einer Kamera erfasst und dann einzeln zu Trackpoint-Datensätzen verarbeitet. Der Datensatz ist eine CSV-Datei. Die Daten enthalten nicht viel Rauschen.
https://github.com/nachiket92/conv-social-pooling
(2) INTERAKTION
Dieser Datensatz wurde für das UC Berkeley Mechanical Systems Control Laboratory (MSC Lab) und Mitarbeiter des Karlsruher Instituts für Technologie (KIT) und des MINES ParisTech-Datensatzes (INTERACTION) entwickelt. Es kann eine große Anzahl interaktiver Verhaltensweisen von Verkehrsteilnehmern (z. B. Fahrzeugen und Fußgängern) in verschiedenen Fahrszenarien in verschiedenen Ländern genau reproduzieren.
http://www.interaction-dataset.com/
(3)apolloscape
Dies ist Apollos öffentlicher Datensatz für autonomes Fahren, der auch die bereitgestellten Daten zur Flugbahnvorhersage enthält . Die interne Datei ist eine 1-minütige Datensequenz mit 2 Bildern pro Sekunde. Die Datenstruktur umfasst Bildnummer-ID, Ziel-ID, Zielkategorie, Position xyz, Länge, Breite und Höhe sowie Richtung. Die Zielkategorie umfasst kleine Autos, große Autos und Fußgänger , Fahrräder/Elektrofahrzeuge und andere.
https://apolloscape.auto/trajectory.html
(4) TRAF
Dieser Datensatz konzentriert sich auf Verkehrsbedingungen mit hoher Dichte, was dem Algorithmus helfen kann, sich besser darauf zu konzentrieren die Analyse des menschlichen Fahrerverhaltens in unsicheren Umgebungen. Jeder Datenrahmen enthält jeweils etwa 13 Kraftfahrzeuge, 5 Fußgänger und 2 Fahrräder im Link Trajectory Prediction Project für den Datensatz.
(5) nuScenes
Dieser Datensatz wurde im April 2020 vorgeschlagen. Es wurden 1.000 Fahrszenen in Boston und Singapur gesammelt, zwei Städten mit starkem Verkehr und schwierigen Fahrbedingungen. Der Datensatz enthält verwandte Artikel. Sie können einen Blick darauf werfen, um diesen Datensatz besser zu verstehen.
https://arxiv.org/abs/1903.11027
In diesem Datensatz gibt es vorhersagebezogene Wettbewerbe, die Sie verfolgen können.
https://www.nuscenes.org/prediction?externalData=all&mapData=all&modalities=Any
6 Bewertungsmetriken
Die derzeit hauptsächlich verwendeten Bewertungsmetriken sind geometrische Metriken.
ADE ist der normalisierte euklidische Abstand. FDE ist der euklidische Abstand zwischen den endgültigen Vorhersagepunkten. MR ist die Missrate. Es gibt viele verschiedene Namen. Die Hauptsache ist, einen Schwellenwert festzulegen. Wenn der euklidische Abstand zwischen den vorhergesagten Punkten niedriger ist als dieser Vorhersagewert, wird er als Treffer aufgezeichnet . Abschließend wird ein Prozentsatz berechnet.
Die geometrische Metrik ist ein wichtiger Indikator zur Messung der Ähnlichkeit zwischen der vorhergesagten Flugbahn und der tatsächlichen Flugbahn und kann die Genauigkeit gut darstellen. Für die Flugbahnvorhersage ist es jedoch sinnlos, nur die Genauigkeit zu bewerten. Es sollten auch Wahrscheinlichkeitsmaße zur Bewertung der Unsicherheit vorhanden sein, insbesondere für multimodale Ausgabeverteilungen. Es sollten auch Maßnahmen auf Aufgabenebene, Robustheitsmaße und Effizienzbewertungen vorhanden sein.
Wahrscheinlichkeitsmaß: KL-Divergenz, vorhergesagte Wahrscheinlichkeit und kumulative Wahrscheinlichkeit können als Wahrscheinlichkeitsmaße verwendet werden. Zum Beispiel NLL, KDE-basiertes NLL [17]. Metriken auf Aufgabenebene: Bewerten Sie die Auswirkungen der Flugbahnvorhersage auf die Back-End-Regulierung (piADE, piFDE) [18]. Robustheit: Berücksichtigen Sie die Länge oder Dauer des beobachteten Teils der Flugbahn; die Häufigkeit der Abtastung der Trainingsdaten und die Analyse des Sensorrauschens; die Eingabeeingabe, ob die normale Funktion garantiert ist und andere Faktoren. Effizienz: Berücksichtigen Sie die Rechenleistung.
Wie in der Abbildung unten gezeigt, besteht die Hauptüberlegung dieses Artikels darin, dass basierend auf dem wahren Wert (blau) die vom grauen Zielauto vorhergesagten violetten und grünen Flugbahnen dieselben ADE und FDE haben, wenn geometrische Metriken verwendet werden, aber Verschiedene Vorhersagemethoden haben Auswirkungen auf die Planung des Fahrzeugs. Derzeit gibt es jedoch keine solche Metrik zur Bewertung des Aufgabenniveaus. Daher wurden hierfür piADE und piFDE vorgeschlagen.
Frage 1: Drei verschiedene Methoden zur Flugbahnvorhersage: basierend auf physikalischem Modell, basierend auf Lernen, basierend auf Planung. Wo liegen ihre jeweiligen Anwendungsszenarien und was sind ihre Vorteile? Nachteile?
Verschiedene Modellierungsmethoden können verschiedene Arten von Kontextinformationen kombinieren und nutzen. Alle Modellierungsmethoden können durch die Verwendung der kontextuellen Hinweise des Ziels sowie dynamischer und statischer Umgebungen erweitert werden. Allerdings weisen unterschiedliche Modellierungsmethoden unterschiedliche Grade an Komplexität und Effizienz bei der Kombination verschiedener Kategorien semantischer Informationen auf.
1. Auf physikalischen Modellen basierende Methode
Anwendbare Szenarien: Ziele, statische Umgebungen und dynamische Simulationen können durch explizite Übertragungsgleichungen modelliert werden.
Vorteile:
Nachteile:
Solche Mängel beschränken den Einsatz physikalischer Methoden auf kurzfristige Vorhersagen oder hindernisfreie Umgebungen.
2. Lernbasierte Methode
Anwendbare Szenarien: Geeignet für aktuelle Umgebungen mit komplexen unbekannten Informationen (z. B. öffentliche Bereiche mit umfangreicher Semantik), und diese Informationen können für einen relativ großen Vorhersagebereich verwendet werden.
Vorteile:
Nachteile:
3. Planungsbasierte Methode
Anwendbare Szenarien: Sie bietet eine gute Leistung in Szenarien, in denen der Endpunkt bestimmt ist und die Umgebungskarte verfügbar ist.
Vorteile:
Nachteile:
Planungsbasierte Methoden sind im Wesentlichen karten- und abstakelbewusst und erweitern sich natürlich um semantische Hinweise. Typischerweise kodieren sie die Komplexität der Situation in die Ziel-/Belohnungsgleichung, aber dadurch werden dynamische Zeileneingaben möglicherweise nicht richtig integriert. Daher mussten die Autoren spezifische Modifikationen entwerfen, um dynamische Eingaben in den Vorhersagealgorithmus zu integrieren (Sprung-Markov-Prozesse, lokale Anpassungen der vorhergesagten Flugbahn, spieltheoretisch). Im Gegensatz zu lernbasierten Methoden können Zieleingaben leicht zusammengeführt werden, da sowohl Vorwärts- als auch Rückwärtsplanungsprozesse auf demselben dynamischen Zielmodell basieren.
Frage 2: Ist das Problem der Flugbahnvorhersage mittlerweile gelöst?
Der Bedarf an Flugbahnvorhersagen hängt weitgehend von der Anwendungsdomäne und den darin enthaltenen spezifischen Anwendungsszenarien ab. Man kann nicht sagen, dass das Problem der Flugbahnvorhersage kurzfristig gelöst wurde. Nehmen Sie die Automobilindustrie als Beispiel, da es spezielle Normen und Vorschriften gibt, die Höchstgeschwindigkeit, Verkehrsregeln, Geschwindigkeits- und Beschleunigungsverteilung für Fußgänger sowie Spezifikationen für komfortable Beschleunigungs-/Verzögerungsraten von Fahrzeugen festlegen Lösungsvorschläge. Man kann sagen, dass die Lösung für die AEB-Funktion von Smart Cars ein Leistungsniveau erreicht hat, das die industrielle Produktion von Konsumgütern ermöglicht, und die erforderlichen Anwendungsfälle gelöst wurden. Was andere Anwendungsfälle betrifft, werden in naher Zukunft mehr Standardisierung und eine klare Formulierung der Anforderungen erforderlich sein. Und Robustheit und Stabilität müssen sich noch weiterentwickeln.
Bevor wir also antworten, ob die Flugbahnvorhersage dieses Problem gelöst hat, sollte zumindest der Standard festgelegt werden.
Derzeit können im Bereich der Robotik Methoden, die auf physikalischen Modellen und Lernmethoden basieren, eine höhere Genauigkeit in kurzer Zeit (1-2 Sekunden) erreichen. Es eignet sich sehr gut für die lokale Bewegungsplanung und Kollisionsvermeidung von Menschenmengen. Das einfachste CV-Modell hat einen guten Einfluss auf die lokale Planung des Roboters. Betrachtet man die Interaktion zwischen Fußgängern und den Einfluss der Anwesenheit von Robotern auf Fußgängerbewegungen, gibt es viele fortschrittliche Algorithmen.
Fahrrad: Ein Radfahrer nähert sich einer Kreuzung mit bis zu fünf verschiedenen Straßenrichtungen dahinter.
Mittlerweile verwenden die meisten Autoren nur noch geometrische Metriken (AED, FDE) als Indikator, um die Qualität eines Algorithmus zu messen. Bei langfristigen Vorhersagen sind die Vorhersagen jedoch oft multimodal und mit Unsicherheit verbunden, und die Leistungsbewertung solcher Methoden sollte Metriken verwenden, die dies berücksichtigen, wie etwa die negative Log-Likelihood oder den Logarithmus, der sich aus dem KLD-Verlust ergibt.
Es besteht auch Bedarf an probabilistischen Maßen, die die Zufälligkeit menschlicher Bewegungen und die mit Wahrnehmungsunvollkommenheiten verbundene Unsicherheit besser widerspiegeln können.Es gibt auch eine Robustheitsbewertung, die die Stabilität des Systems berücksichtigen muss, wenn auf der Sensorseite Erkennungsfehler, Trackingfehler, Unsicherheiten bei der Selbstpositionierung oder Kartenänderungen auftreten. Gleichzeitig enthalten die derzeit verwendeten Datensätze zwar sehr umfassende Szenarien, diese Datensätze sind jedoch in der Regel halbautomatisch annotiert und können daher nur unvollständige und verrauschte wahre Wertschätzungen liefern. Darüber hinaus reicht die Flugbahnlänge in einigen Anwendungsbereichen, in denen langfristige Vorhersagen erforderlich sind, häufig nicht aus. Schließlich ist die Interaktion zwischen Zielen im Datensatz normalerweise begrenzt. In einer spärlichen Umgebung ist es beispielsweise schwierig, dass sich Ziele gegenseitig beeinflussen. Zusammenfassend: Um die Qualität von Vorhersagen zu bewerten, sollten Forscher komplexere Datensätze (einschließlich nicht konvexer Hindernisse, langer Flugbahnen und komplexer Wechselwirkungen) und vollständige Metriken (Geometrie + Wahrscheinlichkeit) auswählen. Eine bessere Methode besteht darin, unterschiedliche Genauigkeitsanforderungen basierend auf unterschiedlichen Vorhersagezeiten, unterschiedlichen Beobachtungszeiträumen und unterschiedlichen Szenenkomplexitäten festzulegen. Und es sollte eine Robustheitsbewertung und eine Echtzeitbewertung geben. Darüber hinaus sollte es relevante Indikatoren geben, die die Auswirkungen von ADAS-Systemen auf das Backend messen können [18], und Indikatoren, die die Empfindlichkeit gegenüber Gefahrenszenarien messen [1]. stammt aus der Diskussion in [2], hier zitiert. Der aktuelle Trend geht dahin, komplexere Methoden zu verwenden, um die Methode der Verwendung eines einzelnen Modells + KF zu übertreffen soll ein besseres Verständnis statischer Umgebungen ermöglichen. Und die aktuelle Verwendung semantischer Merkmale zur Flugbahnvorhersage muss noch weiterentwickelt werden In Bezug auf sozialbewusste Szenarien: ① Die meisten aktuellen Methoden gehen davon aus, dass das Verhalten aller beobachteten Personen ähnlich ist und ihre Bewegungen durch dieselben Modelle bestimmt werden können und die gleichen Merkmale vorherzusagen, während sich die Erfassung und Schlussfolgerung hochrangiger sozialer Attribute noch in einem frühen Entwicklungsstadium befindet. ② Die meisten praktikablen Methoden basieren auf der Annahme, dass kooperatives Verhalten zwischen Menschen und realen Menschen möglicherweise eher dazu neigen, individuelle Ziele zu optimieren als gemeinsame Strategien. Daher ist die Methode der Kombination traditioneller KI + Spieltheorie sehr vielversprechend. 8 zukünftige Richtungen
Das obige ist der detaillierte Inhalt vonBesprechen Sie den aktuellen Status und die Entwicklungstrends der Technologie zur Vorhersage der Flugbahn des autonomen Fahrens. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!