自動運転では軌道予測が重要な役割を果たします 自動運転軌道予測とは、車両の走行過程におけるさまざまなデータを分析し、将来の車両の走行軌跡を予測することを指します。自動運転のコアモジュールとして、軌道予測の品質は下流の計画制御にとって非常に重要です。軌道予測タスクには豊富な技術スタックがあり、自動運転の動的/静的知覚、高精度地図、車線境界線、ニューラル ネットワーク アーキテクチャ (CNN&GNN&Transformer) スキルなどに精通している必要があります。始めるのは非常に困難です。多くのファンは、できるだけ早く軌道予測を始めて、落とし穴を避けたいと考えています。今日は、軌道予測に関するよくある問題と入門的な学習方法を取り上げます。
A: まず、シーケンシャル ネットワーク、グラフ ニューラル ネットワーク、調査における評価、問題の定式化、深層学習ベースの手法を見てみましょう。
カップリングと挙動は同じではありません。カップリングとは通常、ターゲット車両が実行する可能性のあるアクション (変更など) を指します。車線、駐車、追い越し、加速、左折、右折、直進。軌跡とは、将来の特定の位置を時間情報とともに参照する。
右側の表では、通常、OBJECT_TYPE 列は自動運転車自体を表します。データセットは通常、シーンごとに予測される 1 つ以上の障害物を指定し、予測されるこれらのターゲットはターゲットまたはフォーカル エージェントと呼ばれます。一部のデータセットは、車両、歩行者、自転車などの障害物ごとにセマンティック ラベルを提供します。
Q2: 車両と歩行者のデータ形式は同じですか?たとえば、1 つの点群ポイントが歩行者を表し、数十のポイントが車両を表すということですか?
A: この種の軌跡データ セットは、実際には、歩行者と車両の両方について、オブジェクトの中心点の xyz 座標を示します。
Q3: argo1 および argo2 データ セットのみが指定されています。 . 予測された障害物ですよね？マルチエージェント予測を行う場合にこれら 2 つのデータ セットを使用する方法
argo1 では障害物を 1 つだけ指定しますが、argo2 では 20 個もの障害物を指定できます。ただし、障害物が 1 つだけ指定されている場合でも、複数の障害物を予測するモデルの機能には影響しません。
A: 自車計画軌道として自車軌道を「予測」します。uniad
A: nn ネットワークは基本的に必要ありません、ルールベースにはある程度の知識が必要です
A: まずレビューを読んで、「自動運転車の軌道予測のための機械学習: 包括的な調査、課題、および今後の研究の方向性」などのマインド マップを整理します。このレビューは、英語の原文をお読みください。
A1(stu): 默认预测属于感知吧，或者决策中隐含预测，反正没有预测不行。A2(stu): 决策该规控做，有行为规划，高级一点的就是做交互和博弈，有的公司会有单独的交互博弈组
A: 他車の軌跡に基づいて予測を行い、自車の軌跡に基づいて制御を行いますが、両者の軌跡は相互に影響し合うため、規制に基づいて予測するのが一般的です。
Q: Xiaopeng の知覚 xnet などの一部の公開情報は、同時に予測軌跡を生成します。現時点では、予測作業は知覚モジュールの下に置かれているか、両方のモジュールにそれぞれの機能があるように感じます。モジュール、異なる目標?
A: それらは相互に影響を与えるため、予測と意思決定がグループになっている場合もあります。たとえば、自分の車が計画した軌道が他の車を圧迫することを目的としている場合、通常、他の車は道を譲ります。したがって、一部の作業では、独自の車両の計画を他の車両モデルの入力の一部とみなすことになります。 M2I (M2I: Factored Marginal Trajectory Prediction to Interactive Prediction) を参照してください。この記事にも同様のアイデアがあります。PiP のこのレーンについて学ぶことができます: Planning-informed Trajectory Prediction for Autonomous Driving 9.argoverse 車線のない交差点で中心線マップを取得するにはどうすればよいですか?
10. 軌道予測を使用する場合論文を書くにはどこで入手できますか? この論文のコードはベースラインとして使用できますか?
11. 現在、軌道予測は基本的にマップに依存していますが、新しいマップ環境に変更すると、元のモデルは適用されなくなり、再トレーニングが必要になりますか?
12. マルチモーダル出力の場合、最適な軌道を選択する最も高い確率値に基づいて選択する時期は?
A(stu): 选择结果最好的Q2:结果最好是根据什么来判定呢？是根据概率值大小还是根据和gt的距离A: 实际在没有ground truth的情况下，你要取“最好”的轨迹，那只能选择相信预测概率值最大的那条轨迹了Q3: 那有gt的情况下，选择最好轨迹的时候，根据和gt之间的end point或者average都可以是吗A: 嗯嗯，看指标咋定义
A: それはすべてこのコースで説明されています。第 2 章を参照してください。第 4 章でも説明されます。異種グラフと同型グラフの違い: 同型グラフのノードの種類あるノードと別のノードの間には 1 種類の接続しかありません。たとえば、ソーシャル ネットワークでは、ノードには 1 種類の「人」しかなく、エッジには 1 種類の接続「知識」しかないことが想像できます。そして人々はお互いを知っているか、知らないかのどちらかです。ただし、人、いいね、ツイートをセグメント化することもできます。そして、知り合いを通じて人々がつながったり、ツイートの「いいね！」を通じて人々がつながったり、ツイートの「いいね！」を通じて人々がつながったりするかもしれません（メタパス）。ここで、ノードとノード間の関係を多様に表現するには、異種グラフの導入が必要です。異種グラフには、さまざまな種類のノードがあります。ノード間の接続関係（エッジ）にも多くの種類があり、それらの接続関係の組み合わせ（メタパス）にもさらに多くの種類があり、これらのノード間の関係は重要度によって分類され、接続関係の種類によって異なります。さまざまな重症度にも分類されます。
A: 特定の半径内の車を選択することも、K 台の最近隣車を考慮することもできます。より高度なヒューリスティック近隣車のスクリーニング戦略を自分で考え出すこともできます。モデルに自動的に学習させます。出てくる 2 台の車は隣接していますか?
Q2: 一定の範囲を考えてみましょう。半径を選択するための原則はありますか?さらに、選択された車両はどのタイム ステップで発生しましたか?
A: 半径の選択に対して標準的な答えを持つことは困難です。これは基本的に、予測を行う際にモデルがどれだけの遠隔情報を必要とするかを尋ねることになります。コンボリューション カーネルのサイズを選択するときの 2 番目の質問については、私の個人的なルールは、オブジェクト間の相互作用をモデル化したい場合は、その時点でのオブジェクトの相対位置に基づいて近傍を選択する必要があるということです。
Q3: この場合、歴史的な時間領域をモデル化する必要がありますか?特定の範囲内の周囲の車両も、異なるタイム ステップで変化します。それとも、現時点での周囲の車両情報のみを考慮すべきでしょうか?
A: いずれにせよ、モデルの設計方法によって異なります
A: 見てください。モーション フォーマーの操作は比較的従来的なもので、多くの論文で同様の SA と CA が見られます。現在、多くの sota モデルは比較的重いです。たとえば、デコーダには巡回リファインが行われます。
A2: 実行されるのは結合予測ではなく周辺予測です。2. 予測と計画は、明示的に考慮することなく、個別に実行されます。エゴと周囲のエージェントのインタラクティブゲーム; 3. 対称性を考慮せずにシーン中心の表現が使用され、その効果は避けられません
Q2: 限界予測とは何ですか
A: 詳細については、お問い合わせください。シーントランスフォーマーを参照してください
Q3: 3 番目の点について、シーンセントリックは対称性を考慮していません。どのように理解すればよいですか?
A: HiVT、QCNet、MTR を見ることをお勧めします。もちろん、エンドツーエンドのモデルでは対称性が重要です。設計も簡単ではありません
A2: 入力がシーン データであることは理解できますが、ネットワーク内では次のようにモデル化されます。各ターゲットを中心的な視点として周囲のシーンを観察することで、次のことが可能になります。前方では、各ターゲットを中心としたコーディングを取得し、これらのコード間の相互作用を検討できます。
A: 各エージェントには独自のローカル領域があり、そのローカル領域はこのエージェントを中心としています。
A: 車の前方の方向として理解できます
A: 実は、正しく理解できているかわかりませんが、ある車線が信号機/一時停止標識/速度制限標識の影響を受けるかどうかを指すのだと思いますが、 etc.
A: 両方試してください。どちらがより効果的に機能するかには利点があります。ラプラス損失を効果的にするには、まだいくつかの詳細に注意する必要があります。
Q2: パラメーターを調整する必要があるということですか?
A: L1 損失との比較、ラプラス損失は実際にはもう 1 つのスケール パラメーターを予測します
Q3: はい、しかし、1 つの軌道しか予測しない場合、これが何の役に立つのかわかりません。冗長性のような気がします。不確実性として理解していますが、正しいかどうかはわかりません
A：如果你从零推导过最小二乘法就会知道，MSE其实是假设了方差为常数的高斯分布的NLL。同理，L1 loss也是假设了方差为常数的Laplace分布的NLL。所以说LaplaceNLL也可以理解为方差非定值的L1 loss。这个方差是模型自己预测出来的。为了使loss更低，模型会给那些拟合得不太好的样本一个比较大的方差，而给拟合得好的样本比较小的方差
Q4：那是不是可以理解为对于非常随机的数据集【轨迹数据存在缺帧 抖动】 就不太适合Laplace 因为模型需要去拟合这个方差？需要数据集质量比较高
A：这个说法我觉得不一定成立。从效果上来看，会鼓励模型优先学习比较容易拟合的样本，再去学习难学习的样本
Q5：还想请问下这句话（Laplace loss要效果好还是有些细节要注意的）如何理解 A：主要是预测scale那里。在模型上，预测location的分支和预测scale的分支要尽量解耦，不要让他们相互干扰。预测scale的分支要保证输出结果>0，一般人会用exp作为激活函数保证非负，但是我发现用ELU +1会更好。然后其实scale的下界最好不要是0，最好让scale>0.01或者>0.1啥的。以上都是个人看法。其实我开源的代码（周梓康大佬的github开源代码）里都有这些细节，不过可能大家不一定注意到。
给出链接：https://github.com/ZikangZhou/QCNet
https://github.com/ZikangZhou/HiVT
https://github.com/L1aoXingyu/pytorch-beginner/tree/master/08-AutoEncoder
A：Polyline就是折线，折线就是一段一段的，每一段都可以看成是一段向量Q2：请问这个折线段和图神经网络的节点之间的边有关系吗？或者说Polyline这个折现向量相当于是图神经网络当中的节点还是边呀？A：一根折线可以理解为一个节点。轨迹预测里面没有明确定义的边，边如何定义取决于你怎么理解这个问题。Q3: VectorNet里面有很多个子图，每个子图下面有很多个Polyline，把Polyline当做向量的话，就相当于把Polyline这个节点变成了向量，相当于将节点进行特征向量化对吗?然后Polyline里面有多个Vector向量，就是相当于是构成这个节点的特征矩阵么?A: 一个地图里有很多条polyline;一个Polyline就是一个子图；一个polyline由很多段比较短的向量组成，每一段向量都是子图上的一个节点
A: 节点的粒度不同，要说效果的话那得看具体实现；速度的话，显然粒度越粗效率越高Q2：从效果角度看，什么时候选用哪种有没有什么原则？A: 没有原则，都可以尝试
14 のパラメーターと統合できます。ユーザーとしては、HiVT の方が気になるかもしれません。実際の導入に必要なハードウェア要件は?
A: わかりませんが、私が得た情報によると、歩行者予測に HiVT を使用しているのが NV なのか、どの自動車メーカーなのかはわかりません。したがって、実際の導入は間違いなく実現可能です以上が自動運転と軌道予測についてはこの記事を読めば十分です！の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
