自動運転軌跡予測技術の現状と開発動向を解説

1 軌道予測とは

自動運転では、一般に軌道予測は認識モジュールのバックエンドに配置され、制御モジュールのフロントエンドは接続モジュール。知覚モジュールから提供される対象軌道の状態情報と道路構造情報を入力し、高精度地図情報、対象間のインタラクション情報、環境の意味情報、対象の意図情報を総合的に考慮し、様々な知覚対象に対して意図を作成します。 . 予測 (カットイン/アウト、直進) および将来の一定期間 (0 ～ 5 秒の範囲) の軌道予測。以下に示すように。

ADAS システムでは、周囲の環境情報に対する一定の認知能力が必要です。最も基本的なレベルは環境を認識することです。次のレベルでは環境を理解する必要があり、その次のレベルでは予測を行うことが必要です環境について。目標を予測した後、コントローラは予測情報に基づいて車両の進路を計画し、危険な状況が発生した場合にブレーキや警告を発するかどうかを決定することが、軌道予測モジュールの重要性です。

#2 2 つの課題

軌道予測は短期予測と長期予測に分けられます。 -期予測。

1. 短期予測は通常、運動学モデル (CV/CA/CTRV/CTRA) に基づいて、将来の一定期間の軌道を予測します。現在のターゲットの状態情報。一般に 1 秒未満が適切です。時間が長すぎる場合、ターゲットが運動学のみに関連しているという仮定は無効になります。短期予測の場合、予測専用の運動モデルを構築できます。以前の認識モジュールのフィルタリングで予測モジュールを使用することもできますが、フィルタリングの更新のために測定を呼び出すことはできません。この利点は、不確実性が伝播される可能性があることです。
2. 長期予測は業界が現在行っていることです。この種の予測は運動モデルのみに基づくのは適切ではなく、一般に意図予測が必要であり、何らかのコンテキスト情報 (マップ、ターゲット間のインタラクション情報) と組み合わせることで良好な結果が得られます。このとき、軌道の確率分布を出力する、複数の予測軌道を出力する、最も可能性の高い予測軌道を出力するなど、業界ではさまざまな出力形式が存在します。

長期的な軌道予測には 2 つの課題があります:

1. 可能性のある軌道を出力するか、すべての可能性のある軌道を出力する軌道はすべて不合理です。予測された軌道を出力すると、実際の軌道を見逃す可能性があります。考えられるすべての軌道を出力すると、誤警報が発生します。これは、ADAS システムでは許容できません。予測される軌道を適切なサブセットに制限することを考慮する必要があります。
2. 軌道予測を行うほど、より多くの仮定を立てる必要があります。極端な仮定は、道路上のすべての物体が交通規則に従っていると仮定することです。これは、交通シミュレーション機能に使用する場合には妥当ですが、潜在的に危険な状況に敏感である必要がある ADAS システムには適していません。

長期的な軌道予測に影響を与える不確実性は、主に 3 つの側面から生じます。

1. センシングの出力モジュール ターゲット状態の推定値は不確実です。
2. 運転意図の予測の不確実性。
3. 意図認識と車両の移動性の間の不確実性は変化します。

#3 主な考慮事項

#軌道予測システムに関して考慮すべき 4 つの問題:

軌道予測は、潜在的な危険に敏感でなければなりません。これは、軌道予測の意味で要求されます。
走行モデルと意図や周囲環境の情報の両方を考慮する必要があります。
上記の不確実性を考慮してください。
出力軌跡の数を考慮します。

4 業界の手法

次の図は、Bosch が発行したレビュー論文 [2] の分類方法を示しています。 。

1. 軌道予測手法は、使用するモデルの違いによって分類すると、物理モデルを用いる手法、学習を用いる手法、計画アルゴリズムを用いる手法に分類できます。
2. 軌道予測手法は、利用する情報に応じて分類すると、対象情報を利用する方法、環境内の動的対象情報を利用する方法、静的環境情報を利用する方法に分けられます。 。

軌道予測にはどのような一般的なアルゴリズムが関係していますか?

1. 意図予測: ファジィ理論、静的 BN、DBN (HMM、JumpMM)、DS 証拠理論、機械学習における分類アルゴリズム。
2. ディープラーニング関連のエンドツーエンドの出力。 CNN、LSTM、RNN、注意。

#具体的にはどのような情報を軌道予測に使用できますか?

1. 対象情報：現在・過去の速度情報、位置情報、歩行者の軌跡予測であれば歩行者の頭部の向き、関節情報、性別、年齢情報も取得可能人間の注意情報。
2. 環境内の動的なターゲット情報: 社会的力、魅力、グループ制約情報。
3. 静的環境情報: 空きスペース、地図、意味情報 (道路構造/交通規則/現在の信号機)。

#現在、学界では軌道予測に関する論文が増えていますが、その主な理由は業界に有効な手法が存在しないことです。

以下は業界文書です:

BMW:物理モデルの意図予測 (学習ベース)。ヒューリスティック手法は、専門知識を統合し、相互作用モデルを簡素化し、意図予測の分類モデルにゲーム理論のアイデアを追加するために使用されます [3]。

BENZ: DBN を使用した意図予測に関する主な関連論文 [4] 。

Uber: LaneRCNN[5]。

#Google: VectorNet[6]。

#Huawei: ホーム[7]。

#Waymo

: TNT[8]。

#Aptive

: カバーネット[9]。

NEC

: R2P2[10]。 SenseTime

: TPNet[11]。

美団: StarNet[12]。歩行者。

アイビー: ソフィー[13]。歩行者。

MIT: ソーシャル lstm[14]。歩行者。

#USTC: STGAT[15]。歩行者。

baidu: レーン注意[16]。

##Apollo: 次のブログを参照してください。

https://www.cnblogs.com/liuzubing/p/11388485.html

Apollo の予測モジュールは知覚、測位を受け取りますそしてマップモジュールの入力。

1. まず、シーンは通常の走行道路と交差点の 2 つのシーンに分割されました。

2. 次に、知覚されたターゲットの重要性を、無視してもよいターゲット (自分の車に影響を与えない) と、注意して扱う必要があるターゲット (自分の車に影響を与える可能性がある) に分けます。 car)、rook)、および通常のターゲット (その間のどこか)。

3. 次に、本質的に意図の予測であるエバリュエーターを入力します。

4. 最後に、軌道の生成を予測するために使用される予測子を入力します。静止ターゲット、道路沿いの走行、freeMove、交差点など、さまざまなシナリオに応じてさまざまな操作を実行します。

5 データセット

(1) NGSIM

このデータ セットは、米国の FHWA によって収集された高速道路走行データであり、US101、I-80、およびその他の道路における一定期間のすべての車両の走行状況が含まれます。データはカメラを使用して取得され、1 つずつトラック ポイント レコードに処理されます。そのデータセットは CSV ファイルです。データにはあまりノイズがありません。

は、道路計画、車線設定、交通流の調整など、全体的なディスパッチ レベルの詳細情報です。車両の運動学的状態をさらに抽出する必要があります。処理コードは以下のgithubで利用できます。

https://github.com/nachiket92/conv-social-pooling

##(2) 対話

このデータセットは、カールスルーエ工科大学 (KIT) およびパリ国立高等鉱山学校 (MINES ParisTech) の協力者とともに、カリフォルニア大学バークレー校機械システム制御研究所 (MSC Lab) のために作成されました。協調的なデータセット (INTERACTION)。さまざまな国のさまざまな運転シナリオにおける、道路利用者 (車両や歩行者など) の多数のインタラクティブな行動を正確に再現できます。

http://www.interaction-dataset.com/

## ( 3)apolloscape

これは Apollo の公開自動運転データセットで、軌道予測のために提供されたデータが含まれています。内部ファイルは2fpsの1分のデータ列であり、データ構造はフレーム番号ID、対象ID、対象カテゴリ、位置xyz、長さ、幅、高さ情報、方位を含む 対象カテゴリは小型車、大型車、歩行者、自転車/電気自動車など。

https://apolloscape.auto/trajectory.html

(4) TRAF

このデータセットは、高密度の交通状況に焦点を当てています。この状況は、アルゴリズムが不確実な環境における人間のドライバーの行動の分析に重点を置くのに役立ちます。データの各フレームには、約 13 台の自動車、5 台の歩行者、2 台の自転車が含まれています。

https://gamma.umd.edu/researchdirections/autonomousdriving/ad

リンク内のこのデータセットを使用する軌道予測プロジェクトが多数あります。

(5) nuScenes

ビッグニュースがやって来ます。このデータセットは 2020 年 4 月に提案されました。交通量が多く、運転条件が厳しいボストンとシンガポールの 2 つの都市で 1,000 件の運転シーンを収集しました。そのデータ セットには関連論文が含まれているため、このデータ セットをより深く理解するために参照してください。

https://arxiv.org/abs/1903.11027

このデータセットには予測関連の競合があります。それらに注意してください。

https://www.nuscenes.org/prediction?externalData=all&mapData=all&modalities=Any

#6 評価指標

現在主に使用されている評価指標は幾何学的な指標です。

幾何測定には多くの指標があり、主に使用される指標は ADE、FDE、MR です。

ADE は正規化されたユークリッド距離です。 FDE は、最終予測点間のユークリッド距離です。 MRはミス率です。さまざまな名前があります。重要なのはしきい値を設定することです。予測点間のユークリッド距離がこの予測より小さい場合はヒットとして記録され、このしきい値より大きい場合はヒットとして記録されます。最後にパーセンテージが計算されます。

幾何学的な指標は、予測された軌道と実際の軌道の類似性を測定するための重要な指標であり、精度をよく表すことができます。しかし、軌道予測の目的においては、精度を評価するだけでは意味がありません。また、不確実性を評価するための確率的な尺度、特にマルチモーダルな出力分布の場合、タスクレベルの尺度、ロバスト性の尺度、効率の評価も必要です。

確率尺度: KL 発散、予測確率、累積確率を確率尺度として使用できます。たとえば、NLL、KDE ​​ベースの NLL [17]。タスクレベルのメトリクス: バックエンド調整に対する軌道予測の影響を評価します (piADE、piFDE) [18]。ロバスト性: 予測前の軌跡の観測部分の長さまたは期間、トレーニング データのサイズ、入力データのサンプリング周波数とセンサー ノイズ、ニューラル ネットワークの汎化、過学習、入力利用分析、認識モジュールを考慮します。入力の入力、機能の正常性が保証されているかどうかなど。効率: コンピューティング能力を考慮します。

下の図に示すように、この論文の主な考慮事項は、真の値 (青) に基づいて、幾何学的メトリックの場合、灰色のターゲット車によって予測された紫と緑の軌道は同じ ADE と FDE を持つということです。予測方法は自車の計画に影響を与えるが、タスクレベルを評価するためのそのような指標は現時点では存在しないため、これを行うために piADE と piFDE を提案した。

7 3 つの質問

質問 1: 3 つの異なる軌道予測方法: どこにありますか物理モデルベース、学習ベース、計画ベースのアプリケーション シナリオの長所と短所は何ですか?

さまざまなモデリング手法により、さまざまな種類のコンテキスト情報を組み合わせて活用できます。すべてのモデリング手法は、ターゲットのコンテキスト上の手がかりと動的および静的環境を使用して拡張できます。ただし、モデリング方法が異なれば、セマンティック情報の異なるカテゴリを組み合わせる際の複雑さと効率のレベルも異なります。

1. 物理モデルベースの方法

適用可能なシナリオ: ターゲット、静的環境、動的シミュレーションが可能です。明示的な伝達方程式モデリング。

利点:

• 物理モデルベースの手法は、適切な伝達方程式を選択することで環境全体に簡単に適用できますが、トレーニング データは必要ありません。が必要ですが、パラメータ推定のためのデータは役に立ちます。この論文では、単純な CV モデルでも妥当な結果が得られています。
• 物理モデルベースの方法は、ターゲット エージェントのキューと組み合わせることで簡単に拡張できます。

欠点:

• 明示的モデリングへのこのアプローチでは、現実世界の複雑さをうまく捉えられない可能性があります。
• 伝達方程式には空間と時間のグローバルな情報が不足しているため、局所的な最適解が得られる可能性があります。

#このような欠点により、物理的手法の使用は短期予測または障害物のない環境に限定されます。

2. 学習ベースの方法

適用可能なシナリオ: 複雑な未知の情報 (たとえば、豊富なセマンティクスを備えた共通領域）、この情報は比較的広い予測範囲に使用できます。

利点:

• 学習ベースの方法では、収集されたデータセットにエンコードされたあらゆる種類のコンテキスト情報を処理できる可能性があります。それらの一部はマップベースであり、その他はコンテキスト情報をさらに拡張するために使用できます。

欠点:

• トレーニングのために特定の場所で十分なデータを収集する必要があります。
• コンテキスト情報の拡張は、複雑な学習、データ効率、一般化の問題につながる可能性があります。
• 安全性が重要でないコンポーネントで使用される傾向がありますが、ADAS では解釈可能性がより重要ですが、これは学習方法に基づいて達成することはできません。

#3. 計画ベースの方法

適用可能なシナリオ: エンドポイントが決定され、環境が決まります。マップは利用可能なシーンで、よく表現されています。

利点:

• 上記 2 つの条件が満たされる場合、物理的な方法よりも、学習よりも優れた精度を達成できます。ベースのメソッド このメソッドは一般化能力が優れています。

欠点:

• 従来の計画アルゴリズム: ダイクストラ、高速行進法、最適なサンプリング ベースのモーション プランナーは、ターゲットの数、環境のサイズ、予測範囲が増加するにつれて指数関数的に成長します。
• 単純な物理ベースのモデルと比較すると、コンテキストキューベースの計画手法 (逆計画法の報酬関数や順計画法のモデルなど) のパラメーターは簡単であり、一般的に簡単です。 learn ですが、推論という点では、高次元 (ターゲット) エージェント状態では効率が低くなります。

計画ベースの手法は基本的にマップと障害物を認識しており、意味論的な手がかりを使用して自然に拡張されます。通常、状況の複雑さを目標/報酬の方程式にエンコードしますが、動的なライン入力が適切に統合されない可能性があります。したがって、著者らは、予測アルゴリズム (ジャンプ マルコフ プロセス、予測軌道の局所適応、ゲーム理論) に動的入力を組み込むための特定の変更を設計する必要がありました。学習ベースの方法とは異なり、前方計画プロセスと後方計画プロセスの両方が同じターゲット動的モデルに基づいているため、ターゲット入力を簡単にマージできます。

質問 2: 軌道予測の問題は現在解決されていますか?

#軌道予測の必要性は、アプリケーション ドメインとその中の特定のユースケース シナリオに大きく依存します。軌道予測の問題は短期的には解決されたとは言えないかもしれない。自動車産業を例にとると、最高速度、交通ルール、歩行者の速度と加速度の分布、車両の快適な加減速度の仕様を定義する特別な基準や規制があるため、策定する際に最も影響力があると考えられます。要件とソリューションの提案。成熟しています。スマートカーのAEB機能としては、民生用製品の工業生産を可能にする性能レベルに到達し、求められるユースケースを解決したソリューションと言える。他のユースケースについては、近い将来、さらなる標準化と要件の明確な明確化が必要になるでしょう。そして、堅牢性と安定性はまだ進化する必要があります。

したがって、軌道予測がこの問題を解決したかどうかという質問に答える前に、少なくとも基準を設定する必要があります。

現在ロボット工学の分野では

• 物理モデルと学習に基づく手法が短期間で実装可能です (1- 2s) 精度が高くなります。ローカルな動作計画や群衆の衝突回避に非常に適しています。最も単純な CV モデルは、ロボットのローカル プランニングに良い影響を与えます。歩行者間のインタラクションやロボットの存在が歩行者の動きに及ぼす影響を考慮すると、多くの高度なアルゴリズムが存在します。
• 15 ～ 20 秒の予測を必要とするグローバル パス計画には大きな課題があります。要件は適切に緩和することができ、動的および静的なコンテキスト入力（長期的な操作、環境マップ上の推論、ターゲットの意図推論に影響を与える）を理解することが非常に重要になります。ローカルおよびグローバル パス プランニングの場合、位置に依存しない方法は、さまざまな環境での動きを予測するのに最適です。
• 現在のロボットは、4.8 秒で ADE が 0.19 ～ 0.4 m であると予測します。単純な速度モデルでも 0.53m の ADE を達成できます。 9s は ADE が 1.4 ～ 2m と予測します。

現在、自動運転の分野では、

• ほとんどの研究では、道路を横断する歩行者を考慮しています。歩き始め、歩き続けます。歩く、歩くのをやめる。
• 自転車: 自転車は、最大 5 つの異なる方向の道路が後ろにある交差点に進入します。

# 質問 3: 軌道予測パフォーマンスを測定するための現在の評価手法は十分ですか?

現在、予測アルゴリズム、特にコンテキスト入力を考慮して任意の数のターゲットを予測する軌道予測方法に対する体系的なアプローチが不足しています。

現在、ほとんどの作成者は、アルゴリズムの品質を測定する指標として幾何学的尺度 (AED、FDE) のみを使用しています。ただし、長期予測の場合、予測は多峰性で不確実性を伴うことが多く、そのような手法のパフォーマンス評価では、KLD 損失から得られる負の対数尤度や対数など、これを考慮したメトリクスを使用する必要があります。

人間の動きのランダム性や知覚の不完全性に伴う不確実性をより適切に反映する確率的な尺度も必要です。

ロバスト性の評価もあります。これには、検出エラー、追跡欠陥、自己位置決めの不確実性、またはマップの変更がセンシング側で発生した場合のシステムの安定性を考慮する必要があります。

同時に、現在使用されているデータ セットには非常に包括的なシナリオが含まれていますが、これらのデータ セットは通常、半自動的に注釈が付けられているため、不完全でノイズの多い真の値の推定しか提供できません。さらに、長期予測が必要な一部のアプリケーション分野では、軌道の長さが不十分なことがよくあります。最後に、データセット内のターゲット間の相互作用は通常制限されており、たとえば、まばらな環境では、ターゲットが相互に影響を与えることは困難です。

要約: 予測の品質を評価するには、研究者はより複雑なデータセット (非凸の障害物、長い軌道、複雑な相互作用を含む) と完全な指標 (幾何学的確率) を選択する必要があります。 。より良い方法は、異なる予測時間、異なる観測期間、異なるシーンの複雑さに基づいて異なる精度要件を設定することです。そして、ロバスト性評価とリアルタイム評価も必要です。さらに、ADAS システムがバックエンドに与える影響を測定できる関連指標 [18] と、危険なシナリオに対する感度を測定する指標 [1] が必要です。

8 将来の方向性

[2]の議論からここに引用します。

現在の傾向は、単一モデルの KF メソッドの使用を超えて、より複雑なメソッドを使用することです

方向性:

1. 強化されたコンテキスト情報を使用する: より深いセマンティック情報を使用できるため、静的環境をより深く理解できるようになります。そして、軌道予測のためのセマンティック特徴の現在の使用法はまだ開発する必要があります
2. 社会認識シナリオに関して: ① 現在のほとんどの方法は、観察されるすべての人々の行動が類似していることを前提としています。同じモデルと同じ機能によって予測できますが、高レベルの社会的属性の捕捉と推論はまだ開発の初期段階にあります。 ② 実現可能な手法のほとんどは、人間間の協力的な行動を前提としており、実際の人間は共同戦略よりも個々の目標を最適化する傾向がある可能性があるため、従来の AI ゲーム理論と組み合わせた手法は非常に有望です。
3. 長期予測の場合、コンテキストと周囲の状況に基づいて意図が考慮されるため、コンテキスト情報が特に重要になります。現在の学習ベースの手法の多くは個人を粒子として扱い、それらを使用して情報を伝達し、将来の動きの方向を決定する方法を学習します。人間の目標指向の行動と同様に、より意図に基づいた予測でこれらのモデルを拡張すると、長期的な予測に役立ちます。
4. ほとんどの計画ベースの方法は、特定の一連の目標に依存しているため、目的地についての事前知識がなければ、または目的地の数が正確すぎる可能性がある場合には、使用できないか不適切になります。このため、セマンティック情報に基づいた宛先エンドポイントの自動推論が重要になります。あるいは、環境内で考えられる目的地を動的に識別し、これに基づいて軌道予測を実行することもできます。これにより、未知の環境でも計画ベースの手法を使用できるようになります。
5. 現在の手法は、環境内に明らかな移動パターンがある場合や、環境の空間構造とターゲットの目的地が異なる場合など、特定の種類のタスクを解決することに重点を置いています。代理人が事前にわかっている場合。軌道予測方法は、未定義または変化する環境に適応し、予期せぬ状況に対処できる必要があります。これには転移学習と、基本的な不変ルールや一般的な歩行者の行動や衝突回避に関する学習と推論が適切ではない新しい環境に対処するいくつかの方法が必要です。ドメイン適応を使用して一般化モデルを学習できます。
6. 注目すべきもう 1 つの方向は、堅牢性と統合性です。

要約: 簡単に言うと、コンテキスト情報をより深く使用する必要があり、さまざまな目標に対してさまざまな行動モデルとゲーム理論を用意し、より多くの情報に基づいたより多くの意思決定、優れた意図予測、エンドポイントの自動推論、新しい環境への一般化問題、堅牢性と統合性。

以上が自動運転軌跡予測技術の現状と開発動向を解説の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。