Dieser Artikel reicht aus, um etwas über autonomes Fahren und Flugbahnvorhersage zu lesen!

Trajektorienvorhersage spielt beim autonomen Fahren eine wichtige Rolle. Die autonome Fahrtrajektorienvorhersage bezieht sich auf die Vorhersage der zukünftigen Fahrtrajektorie des Fahrzeugs durch die Analyse verschiedener Daten während des Fahrvorgangs. Als Kernmodul des autonomen Fahrens ist die Qualität der Trajektorienvorhersage von entscheidender Bedeutung für die nachgelagerte Planungssteuerung. Die Trajektorienvorhersageaufgabe verfügt über einen umfangreichen Technologie-Stack und erfordert Vertrautheit mit der dynamischen/statischen Wahrnehmung des autonomen Fahrens, hochpräzisen Karten, Fahrspurlinien, Fähigkeiten in der neuronalen Netzwerkarchitektur (CNN&GNN&Transformer) usw. Der Einstieg ist sehr schwierig! Viele Fans hoffen, so schnell wie möglich mit der Flugbahnvorhersage beginnen zu können und Fallstricke zu vermeiden. Heute werde ich eine Bestandsaufnahme einiger häufiger Probleme und einführender Lernmethoden für die Flugbahnvorhersage machen!

Einführungsbezogenes Wissen

1. Sind die Vorschaupapiere in Ordnung?

A: Schauen wir uns zunächst das sequentielle Netzwerk, das graphische neuronale Netzwerk und die Bewertung in Umfragen, Problemformulierungen und Deep-Learning-basierten Methoden an.

2. Bezieht sich die Verhaltensvorhersage auf die Flugbahnvorhersage? Dies bezieht sich normalerweise auf die Aktionen, die das Zielauto ausführen kann, z. B. Spurwechsel, Einparken, Beschleunigen, Abbiegen nach links oder Rechtsabbiegen geradeaus gehen. Die Flugbahn bezieht sich auf einen bestimmten zukünftigen Standortpunkt mit Zeitangabe.

3. Worauf beziehen sich Labels und Ziele unter den im Argoverse-Datensatz genannten Datenkomponenten? Beziehen sich Beschriftungen auf die Grundwahrheit innerhalb des vorherzusagenden Zeitraums? In der Tabelle rechts stellt die Spalte OBJECT_TYPE normalerweise das selbstfahrende Fahrzeug selbst dar. Der Datensatz gibt normalerweise ein oder mehrere Hindernisse an, die für jede Szene vorhergesagt werden sollen. Diese vorherzusagenden Ziele werden als Ziele oder Fokusagenten bezeichnet. Einige Datensätze bieten auch semantische Bezeichnungen für jedes Hindernis, z. B. Fahrzeuge, Fußgänger oder Fahrräder.

F2: Sind die Datenformate von Fahrzeugen und Fußgängern gleich? Ich meine, zum Beispiel stellt ein Punktwolkenpunkt einen Fußgänger dar und Dutzende Punkte stellen Fahrzeuge dar? A: Diese Art von Flugbahndatensatz gibt tatsächlich die xyz-Koordinaten des Mittelpunkts des Objekts an, sowohl von Fußgängern als auch von Fahrzeugen.

F3: Die Datensätze argo1 und argo2 geben nur ein vorhergesagtes Hindernis an, oder? Wie werden diese beiden Datensätze verwendet, wenn eine Multi-Agenten-Vorhersage durchgeführt wird? Argo1 gibt nur ein Hindernis an, während argo2 bis zu zwanzig angeben kann. Selbst wenn jedoch nur ein Hindernis angegeben wird, hat dies keinen Einfluss auf die Fähigkeit Ihres Modells, mehrere Hindernisse vorherzusagen.

4. Die Pfadplanung berücksichtigt im Allgemeinen niedrige Geschwindigkeit und statische Hindernisse. Welche Rolle spielt die Kombination der Flugbahnvorhersage? ? Schlüsselmomentaufnahme?

A: „Vorhersagen“ der Flugbahn des eigenen Fahrzeugs als Flugbahn der eigenen Fahrzeugplanung, Sie können sich auf Uniad beziehen

5 Stellt die Flugbahnvorhersage hohe Anforderungen an das Fahrzeugdynamikmodell? Benötigen Sie lediglich Mathematik und Automobiltheorie, um ein genaues Fahrzeugdynamikmodell zu erstellen?

A: nn-Netzwerk ist grundsätzlich nicht erforderlich, regelbasiert muss verstanden werden

6 Ein vager Neuling, wo soll ich anfangen, mein Wissen zu erweitern (ich weiß noch nicht, wie man Code schreibt)

A: Lesen Sie zuerst die Rezension und sortieren Sie die Mindmap. Für die Rezension „Machine Learning for Autonomous Vehicle's Trajectory Prediction: A umfassend Survey, Challenges, and Future Research Directions“ gehen Sie zum Beispiel zum englischen Originaltext

7 . Prognose und Entscheidungsfindung Was ist wichtig? Warum ist Prognose für führende Unternehmen derzeit nicht so wichtig? Modul?

A: Die Vorhersage basiert auf der Flugbahn anderer Autos, und die Steuerung basiert auf der Flugbahn des Autos. Die beiden Flugbahnen beeinflussen sich auch gegenseitig, sodass die Vorhersage im Allgemeinen auf der Regulierung basiert.

F: Einige öffentliche Informationen, wie z. B. Xiaopengs Wahrnehmungs-Xnet, werden gleichzeitig Flugbahnen vorhersagen. Derzeit habe ich das Gefühl, dass die Vorhersagearbeit dem Wahrnehmungsmodul zugeordnet ist oder dass beide Module über eigene Vorhersagemodule verfügen Die Ziele sind unterschiedlich.

A: Sie werden sich gegenseitig beeinflussen, daher sind Vorhersage und Entscheidungsfindung an manchen Orten eine Gruppe. Wenn zum Beispiel die vom eigenen Auto geplante Flugbahn darauf abzielt, andere Autos zu quetschen, werden andere Autos in der Regel nachgeben. Daher werden einige Arbeiten die Planung des eigenen Fahrzeugs als Teil der Eingabe anderer Fahrzeugmodelle betrachten. Sie können sich auf M2I (M2I: From Factored Marginal Trajectory Prediction to Interactive Prediction) beziehen. Sie können mehr über die Spurmittellinienkarte von PiP: Planning-informed Trajectory Prediction for Autonomous Driving erfahren. innerhalb der Kreuzung Wie erhält man die Orte ohne Fahrspurlinien? hivt kann als Basis verwendet werden

11 Wenn Sie zu einer neuen Kartenumgebung wechseln, ist eine Umschulung erforderlich?

A: Es verfügt über eine gewisse Verallgemeinerungsfähigkeit, und der Effekt ist ohne Umschulung nicht schlecht.

12 Bei der Auswahl der besten Flugbahn wird diejenige mit dem höchsten Wahrscheinlichkeitswert verwendet

A1(stu): 默认预测属于感知吧，或者决策中隐含预测，反正没有预测不行。A2(stu): 决策该规控做，有行为规划，高级一点的就是做交互和博弈，有的公司会有单独的交互博弈组

Grundlegendes Modul zur Flugbahnvorhersage

1. Wie kann man HD-Map im Argoverse-Datensatz verwenden, um ein Fahrszenendiagramm zu erstellen?

A: In diesem Kurs wird alles behandelt. Sie können sich auf Kapitel 2 beziehen, das auch in Kapitel 4 behandelt wird. Der Unterschied zwischen heterogenen Graphen und isomorphen Graphen: In isomorphen Graphen gibt es nur einen Knotentyp, einen Es gibt nur eine Verbindungsbeziehung zu einem anderen Knoten. In einem sozialen Netzwerk kann man sich beispielsweise vorstellen, dass der Knoten nur eine Art von „Menschen“ und der Rand nur eine Art von Verbindung „Wissen“ hat. Und die Leute kennen sich entweder oder nicht. Es ist aber auch möglich, Personen, Likes und Tweets zu segmentieren. Dann können Menschen durch Bekanntschaften verbunden sein, Menschen können durch Likes auf Tweets verbunden sein und Menschen können auch durch Likes auf einem Tweet verbunden sein (Metapfad). Hier erfordert der vielfältige Ausdruck von Knoten und Beziehungen zwischen Knoten die Einführung heterogener Graphen. In heterogenen Diagrammen gibt es viele Arten von Knoten. Es gibt auch viele Arten von Verbindungsbeziehungen (Kanten) zwischen Knoten, und es gibt noch mehr Arten von Kombinationen dieser Verbindungsbeziehungen (Metapfad). Die Beziehungen zwischen diesen Knoten werden in unterschiedliche Schweregrade und unterschiedliche Verbindungsbeziehungen eingeteilt auch in verschiedene Schweregrade eingeteilt.

2.A-A-Interaktion berücksichtigt, welche Fahrzeuge mit den vorhergesagten Fahrzeugen interagieren?

A: Sie können Autos innerhalb eines bestimmten Radius auswählen oder Autos mit K nächsten Nachbarn berücksichtigen. Sie können sogar selbst eine erweiterte heuristische Nachbar-Screening-Strategie entwickeln und es ist sogar möglich, das Modell lernen zu lassen, ob Zwei Autos sind gleich. Frage 2: Betrachten wir einen bestimmten Bereich. Außerdem: Zu welchem ​​Zeitpunkt sind die ausgewählten Fahrzeuge angekommen? A: Es ist schwierig, eine Standardantwort auf die Auswahl des Radius zu geben. Dies ist im Wesentlichen die Frage, wie viele Ferninformationen das Modell benötigt, um Vorhersagen zu treffen ein Volumen. Für die zweite Frage lautet meine persönliche Regel: Wenn Sie die Interaktion zwischen Objekten zu welchem ​​Zeitpunkt modellieren möchten, sollten Sie Nachbarn basierend auf der relativen Position der Objekte zu diesem Zeitpunkt auswählen F3: Müssen in diesem Fall für die historische Zeit alle Domänen modelliert werden? Die umgebenden Fahrzeuge innerhalb eines bestimmten Bereichs ändern sich ebenfalls in unterschiedlichen Zeitschritten, oder sollten wir nur die umgebenden Fahrzeuginformationen zum aktuellen Zeitpunkt berücksichtigen? -end Was sind die Mängel im Vorhersageteil des Modells?

A: Schauen Sie sich das an. Die Funktionsweise von Bewegungsformern ist relativ konventionell. Sie werden in vielen Artikeln ähnliche SA und CA sehen. Viele der Sota-Modelle sind jetzt relativ umfangreich. Beispielsweise verfügt der Decoder über eine zyklische Verfeinerung Ego und die umgebenden Agenten. 3. Die szenenzentrierte Darstellung wird ohne Berücksichtigung der Symmetrie verwendet, und der Effekt ist unvermeidlich.

F2: Was ist eine Randvorhersage? Der dritte Punkt, szenenzentriert, berücksichtigt nicht die Symmetrie, wie verstehen Sie das?

A2: Es versteht sich, dass es sich bei der Eingabe um Szenendaten handelt, diese werden jedoch im Netzwerk modelliert, um die Szene um sie herum mit jedem Ziel als zentraler Perspektive anzuzeigen. Auf diese Weise erhalten Sie die Kodierung jedes Ziels im Mittelpunkt sich im Vorfeld, und Sie können die Unterschiede zwischen diesen Kodierungen später berücksichtigen.

A: Jeder Agent hat seine eigene lokale Region, und die lokale Region ist auf diesen Agenten zentriert.

5. Sind Gieren und Kurs bei der Flugbahnvorhersage gemischt?

6. Was bedeutet das Attribut has_traffic_control in der Argoverse-Karte?

A: Eigentlich weiß ich nicht, ob ich es richtig verstehe eine Ampel/ein Stoppschild/Geschwindigkeitsbegrenzungsschild usw.

7. Was sind die Vor- und Nachteile von Laplace-Verlust und Huber-Verlust für die Flugbahnvorhersage?

A: Versuchen Sie beides Einer ist besser? Welcher hat den Vorteil. Damit der Laplace-Verlust wirksam ist, müssen einige Details beachtet werden

F2: Bedeutet das, dass die Parameter angepasst werden müssen? A: Im Vergleich zum L1-Verlust sagt der Laplace-Verlust tatsächlich einen weiteren Skalenparameter voraus

F3: Ja, aber es scheint, dass ich nicht weiß, welchen Nutzen es hat, wenn man nur eine Flugbahn vorhersagt. Es fühlt sich wie Redundanz an. Ich verstehe es als Unsicherheit. Ich weiß nicht, ob es richtig ist

A：如果你从零推导过最小二乘法就会知道，MSE其实是假设了方差为常数的高斯分布的NLL。同理，L1 loss也是假设了方差为常数的Laplace分布的NLL。所以说LaplaceNLL也可以理解为方差非定值的L1 loss。这个方差是模型自己预测出来的。为了使loss更低，模型会给那些拟合得不太好的样本一个比较大的方差，而给拟合得好的样本比较小的方差

Q4：那是不是可以理解为对于非常随机的数据集【轨迹数据存在缺帧 抖动】 就不太适合Laplace 因为模型需要去拟合这个方差？需要数据集质量比较高

A：这个说法我觉得不一定成立。从效果上来看，会鼓励模型优先学习比较容易拟合的样本，再去学习难学习的样本

Q5：还想请问下这句话（Laplace loss要效果好还是有些细节要注意的）如何理解 A：主要是预测scale那里。在模型上，预测location的分支和预测scale的分支要尽量解耦，不要让他们相互干扰。预测scale的分支要保证输出结果>0，一般人会用exp作为激活函数保证非负，但是我发现用ELU +1会更好。然后其实scale的下界最好不要是0，最好让scale>0.01或者>0.1啥的。以上都是个人看法。其实我开源的代码（周梓康大佬的github开源代码）里都有这些细节，不过可能大家不一定注意到。

给出链接：https://github.com/ZikangZhou/QCNet

https://github.com/ZikangZhou/HiVT

8. 有拿VAE做轨迹预测的吗，给个链接!

https://github.com/L1aoXingyu/pytorch-beginner/tree/master/08-AutoEncoder

9. 请问大伙一个问题，就是Polyline到底是啥?另外说polyline由向量Vector组成，这些Vector是相当于节点吗？

A：Polyline就是折线，折线就是一段一段的，每一段都可以看成是一段向量Q2：请问这个折线段和图神经网络的节点之间的边有关系吗？或者说Polyline这个折现向量相当于是图神经网络当中的节点还是边呀？A：一根折线可以理解为一个节点。轨迹预测里面没有明确定义的边，边如何定义取决于你怎么理解这个问题。Q3: VectorNet里面有很多个子图，每个子图下面有很多个Polyline，把Polyline当做向量的话，就相当于把Polyline这个节点变成了向量，相当于将节点进行特征向量化对吗?然后Polyline里面有多个Vector向量，就是相当于是构成这个节点的特征矩阵么?A: 一个地图里有很多条polyline;一个Polyline就是一个子图；一个polyline由很多段比较短的向量组成，每一段向量都是子图上的一个节点

10. 有的论文，像multipath++对于地图两个点就作为一个单元，有的像vectornet是一条线作为一个单元，这两种有什么区别吗？

A: 节点的粒度不同，要说效果的话那得看具体实现；速度的话，显然粒度越粗效率越高Q2：从效果角度看，什么时候选用哪种有没有什么原则？A: 没有原则，都可以尝试

11. Gibt es eine Möglichkeit, die Glätte der Partitur zu beurteilen? zwischen den beiden Frames. Das Quadrat der Differenz zwischen den Werten kann statistisch berechnet werden

F2: Welche Indikatoren empfiehlt Herr Thomas derzeit die Ableitung erster Ordnung und die Ableitung zweiter Ordnung? Aber es scheint nicht sehr offensichtlich zu sein, dass die meisten Ableitungen erster und zweiter Ordnung nahe 0 konzentriert sind.

A: Ich bin der Meinung, dass die quadrierte Differenz der Werte der entsprechenden Trajektorien aufeinanderfolgender Frames ausreicht. Wenn Sie beispielsweise n aufeinanderfolgende Eingaben haben, summieren Sie diese und teilen Sie sie durch n. Aber die Szene ändert sich in Echtzeit, und die Punktzahl sollte sich plötzlich ändern, wenn es eine Interaktion gibt oder von einer Nicht-Kreuzung zu einer Kreuzung 12. Ist die Flugbahn in hivt nicht skaliert, z. B. ×0,01+10? Die Verteilung liegt möglichst nahe bei 0. Ich verwende einige Methoden nur, wenn ich sie sehe, und einige Methoden verwende ich nicht. Wie definiere ich den Kompromiss?

A: Standardisieren Sie einfach die Daten. Es mag einigermaßen nützlich sein, aber wahrscheinlich nicht viel

13 Warum werden die Kategorieattribute der Karte in HiVT nach der Einbettung zu den numerischen Attributen hinzugefügt, anstatt zu concat?

A: Es gibt keinen großen Unterschied zwischen Addition und Konkat, aber für die Verschmelzung von Kategorieeinbettung und numerischer Einbettung sind sie tatsächlich völlig gleichwertig

F2: Wie sollten wir vollständige Äquivalenz verstehen? A: Nach dem Zusammenführen der beiden und dem anschließenden Durchlaufen einer linearen Ebene entspricht dies tatsächlich dem Einbetten des Werts durch eine lineare Ebene und dem Einbetten der Kategorie durch eine lineare Ebene und dem anschließenden Einbetten der beiden linearen Ebene der Kategorie A ist eigentlich bedeutungslos. Diese lineare Ebene kann mit den Parametern in nn.Embeddding

14 integriert werden.

A: Ich weiß es nicht, aber nach den Informationen, die ich erhalten habe, weiß ich nicht, ob es NV ist oder welcher Autohersteller HiVT zur Vorhersage von Fußgängern verwendet, daher ist der tatsächliche Einsatz definitiv machbar

15. Prognose basierend auf Belegungsnetz Gibt es etwas Besonderes? Haben Sie Papierempfehlungen?

A: Die vielversprechendste Lösung für zukünftige Vorhersagen basierend auf der Belegung sollte diese sein: https://arxiv.org/abs/2308.01471

16. Gibt es empfohlene Dokumente, die die Vorhersage der geplanten Flugbahn berücksichtigen? Soll die geplante Flugbahn des eigenen Fahrzeugs bei der Vorhersage anderer Hindernisse berücksichtigt werden?

A: Dieser potenziell öffentliche Datensatz ist schwierig und liefert im Allgemeinen nicht die geplante Flugbahn des Fahrzeugs. In der Antike gab es einen Artikel mit dem Titel PiP, Hong Kong Ke Haoran Song. Ich bin der Meinung, dass Artikel zur bedingten Vorhersage genau das Richtige für Sie sind, z. B. M2I

17. Gibt es ein Simulationsprojekt, das für Leistungstests von Vorhersagealgorithmen geeignet ist und von dem Sie lernen und auf das Sie verweisen können? A (stu): Dieses Papier Es gibt eine Diskussion: Wählen Sie Ihren Simulator mit Bedacht aus. Ein Überblick über Open-Source-Simulatoren für autonomes Fahren. 18 Wie kann man abschätzen, wie viel GPU-Speicher benötigt wird, wenn man den Argoverse-Datensatz verwendet? : Es hat etwas damit zu tun, wie man es benutzt. Früher konnte ich hivt auf meinem 1070 ausführen, aber jetzt sollte es auf normalen Computern funktionieren

Originallink: https://mp.weixin.qq.com/ s/EEkr8g4w0s2zhS_jmczUiA

Das obige ist der detaillierte Inhalt vonDieser Artikel reicht aus, um etwas über autonomes Fahren und Flugbahnvorhersage zu lesen!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!