目次
前に書いてあり、著者の個人的な理解
ベクトル化された高精度地図の幾何学的特性
要約
ホームページ テクノロジー周辺機器 AI 初めてのmAP70%超え! GeMap: ローカル高精度マップ SOTA が再び更新されました

初めてのmAP70%超え! GeMap: ローカル高精度マップ SOTA が再び更新されました

Dec 15, 2023 am 10:46 AM
オートパイロット 地図

前に書いてあり、著者の個人的な理解

センサー データに基づいてリアルタイムでベクトル化された高精度マップを構築することは、予測や計画などの下流タスクにとって非常に重要であり、効果的に補うことができます。オフラインの高精度マップの場合、マップのリアルタイム パフォーマンスが低いという欠点があります。ディープラーニングの発展に伴い、オンラインでベクトル化された高精度地図構築が徐々に登場し、HDMapNet、MapTRなどの代表的な作品が次々と登場しました。しかし、既存のオンラインでベクトル化された高精度地図構築方法には、地図要素の幾何学的特性 (要素の形状、垂直、平行、その他の幾何学的関係を含む) の調査が不足しています。

ベクトル化された高精度地図の幾何学的特性

ベクトル化された高精度地図は、道路上の要素を高度に抽象化し、各地図要素を 2 次元として表現します。点の並び。都市道路の設計には特定の仕様があります。たとえば、ほとんどの場合、横断歩道は正方形 長方形 または 平行線 であり、分岐や合流を伴わない道路区間では、隣接する 2 つの車線が使用されます。は互いに 平行です。高精度地図のさまざまな要素にも、多くの同様の特性があります。これらの常識的なルールは、地図要素 (長方形、長方形、長方形、平行四辺形、直線など)、またはさまざまなマップ要素 (平行、垂直など) 間の 関連付け 。幾何学的プロパティはマップ要素の表現を強く制約します。オンライン モデル構築の幾何学的プロパティを完全に理解していれば、より正確な結果を得ることができます。 高精度地図のための幾何学的表現の重要性を提案

理論的には、既存のモデルが地図要素の幾何学的特性を学習することはまだ可能ですが、幾何学的特性 この特性により、少なくとも従来の設計の下では、モデルを学習するのが容易ではないことがわかります。

幾何学的特性の不変性

  • 中央の車両が道路を直進するとき、車線を変更するとき、または曲がるとき (車両座標系で) ) マップ要素の 絶対座標
  • は常に変化します。横断歩道、車線、道路境界線などの形状は変わりませんし、同様に車線間の平行関係も変わりません。マップ要素の幾何学的特性は客観的であり、その重要な特性の 1 つは
不変性

です。より具体的には、剛体不変性(回転および平行移動変換に対して不変のままである)です。これまでの作業は、単純なポリライン表現を使用する場合でも、制御点を含む多項式曲線 (ベジェ曲線、区分的ベジェ曲線など) を使用する場合でも、絶対座標と絶対座標における基本的なエンドツーエンドの最適化に基づいていました。 絶対座標に基づく最適化目標自体には厳密な不変性がないため、モデルが該当する局所最適解に幾何学的特性の理解が含まれることを期待することは困難です。したがって、幾何学的特性を完全に特徴づけることができ、一定の不変性を有する表現が必要です。 図 1. 幾何学的不変性の例。 車両が右折すると絶対座標が大きく変化します。右側の画像は、対応する現実のシナリオを示しています。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

幾何学的特性の多様性

  • さらに、強力な事前知識にもかかわらず、道路の幾何学的特性は依然として多様です。これらのさまざまな幾何学的特性は一般に 2 つのカテゴリに分類できます。1 つは 単一のマップ要素 の幾何学的形状に関するもので、もう 1 つは
  • 異なるマップ要素の幾何学的関連
に関するものです。幾何学的プロパティの多様性により、幾何学的プロパティを網羅的かつ手動で制約に変換することは不可能であるため、モデルがさまざまな幾何学的プロパティをエンドツーエンドで自律的に学習できることが望ましいと考えられます。

GeMap の設計

幾何表現

上記 2 つの問題点を考慮して、まず表現方法を改善します。私たちは、絶対座標に基づく従来の表現に加えて、優れた幾何学的表現を導入したいと考えています。これは次の条件を満たす必要があります。

#マップ要素の

形状を記述できるようにする

    マップ要素間の
  • 関連性を表現できるようにする
  • 剛性
  • 不変性
  • 変換の不変性を確保、相対量、つまり点間のオフセット ベクトルを使用しました。
  • 回転の不変性をさらに保証するために、
オフセット ベクトルの

長さ の異なる値を選択しました。オフセット ベクトル間の角度 。これら 2 つ、長さと角度は、私たちが提案する幾何学的表現の基礎を形成します。さらに、形状をより適切に区別して説明し、2 つの異なるタイプの幾何学的特性を関連付けるために、シンプルさの原則に従って設計をさらに洗練しました。 形状を説明するために , we単一の地図要素内の隣接する点間のオフセット ベクトルを計算し、オフセット ベクトルの長さと隣接するオフセット ベクトル間の角度を計算します。この表現は、ポリライン/ポリゴンを一意に識別します。 2 つの画像の例を以下に示します。

幾何学的形状の表現を示す図 2 をご覧ください。

長方形の場合は、直角と 2 組の等しい辺を使用して表現できます。直線の場合は、すべての角度を使用して表現できます。は 0 度または 180 度です。

関連 を特徴付けるために、同様に、まず 任意の 2 点間の距離 を考慮します。ただし、すべてのポイントツーポイント オフセット ベクトルに対して角度を計算すると、表現の複雑さが高くなりすぎて、計算コストが支払えなくなります。具体的には、マップ要素の合計があり、各要素が点で表されると仮定すると、すべての角度のデータ量は (各角度のデータが 32 ビット浮動小数点数であると仮定すると、1000 個とすると、表現は占有スペースが TB レベルに達するだけです)。実際、これは通常の垂直、平行などの関係には必要ありません。したがって、 まず要素内のオフセットを計算し、次に幾何学的表現の一部として 2 つのオフセット間の角度のみを計算します。この簡略化された関連付け表現は、並列関係、垂直関係、その他の関係を記述する機能を保持していますが、対応するデータ量はわずか (前述の条件下で約 4MB) です。理解を容易にするために、いくつかの例も示します。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

図 3. 幾何学的関連付けの表現。

平行関係と直交関係はオフセットベクトルのなす角度が0度か90度かで表現され、2点間の距離は車線の幅員情報をある程度反映できます

幾何学的形状と関連性の表現を最適化するために、最も単純なアプローチを採用します。

予測とラベルの幾何学的表現を直接計算し、最適化ターゲットとしてノルムを使用します。 :

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

ここで、 と はそれぞれラベルに基づいて計算された長さと角度を表し、 と は予測に基づいて計算された長さと角度を表します。夾角を扱うときはトリックが使用されます。角度の直接計算には不連続な arctan 関数が含まれており、最適化中に問題が発生します (±90 度近くで勾配消失の問題が発生します)。そのため、実際に比較するのは夾角です。コサインまた、回転や平行移動変換に対する損失のロバスト性も表します。

幾何学的なデカップリングへの注目首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

MapTR、Pivo​​tNet などで採用されているアーキテクチャです。マップ要素を結合する 上の各点は、Transformer のクエリに対応します。このアーキテクチャの問題は、幾何学的特性の 2 つの主要なカテゴリを区別していないことです。

セルフアテンションでは、すべてのクエリ (つまり、「ポイント」) が相互に平等に作用します。ただし、 マップ要素の形状はクエリのグループに対応します。これらのグループ間の相互作用は、要素の形状を認識する際に問題となります。逆に、要素間の関係を捉える場合には、形状も余分な要素になります。これは、形状の認識と関連性を切り離すことで、より良い結果が得られる可能性があることを意味します

ジオメトリと関連付けの処理を分離するために、2 段階のセルフ アテンション プロセスを採用します。

各マップ要素は クエリで構成され、アテンションはクエリ内で実行されます。この

幾何学的形状を処理するためのクエリ

    幾何学的関連を処理するために要素間の注意関係を補足します
  • 幾何学的ソリューション結合された注意は、次の図でより鮮明に表現できます。 。私たちの実装は比較的単純で、マスクを直接使用して注目の範囲を制御します。これら 2 種類の注意は相補的であるため、合理的に実装すれば、時間の計算量は単一のセルフ アテンションを実行するのと同等になる可能性があります。
  • 図 4. ジオメトリ分離アテンション。

左側は単一要素内で実行される形状アテンション、右側は要素間で実行される関連アテンションです。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新実験結果

nuScenes および Argoverse 2 データセットに対して多数の実験を実施しました。どちらも一般的に使用されている大規模な自動運転データ セットであり、両方とも地図の注釈を提供します。

主な結果

nuScenes で 3 セットの実験を実施しました。まず、幾何学的損失とその他の必要な損失 (ポイントツーポイント距離、エッジ方向、分類など) のみを含む目的関数の比較的純粋な組み合わせを使用します。この組み合わせは、提案する幾何学的特性の重要性を強調することを目的としています。 SOTAの結果を追求しすぎず、価値を追求します。結果は、この場合、私たちの方法が MapTR と比較して mAP を改善することを示しています。 GeMap の限界を探るために、セグメンテーションや深度推定などの補助的な目的も追加します。このケースでは、SOTA の結果 (mAP の改善) も達成しました。このような改善を達成するために、推論速度をそれほど犠牲にする必要がないことは注目に値します。最後に、追加の LiDAR モーダル入力の導入も試みました。追加のモーダル入力の助けにより、GeMap のパフォーマンスはさらに向上しました

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

同様に、Argoverse 2 データ セットでも上記に関して、私たちの方法も非常に優れた結果を達成しました。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

書き直された内容は次のとおりです: アブレーション実験

nuScenes でさらに書き直された内容は次のとおりです: アブレーション実験の証明 幾何学的な損失の値そして幾何学的に分離された注意。興味深いことに、予想どおり、幾何学的損失を直接使用すると、モデルのパフォーマンスが低下します。これは、形状と関連付け処理の 構造的結合により、モデルによる幾何学的表現の最適化が困難になるためであると考えられます ; 幾何学的な分離の注意と組み合わせた後、幾何学的損失が本来の役割を果たします (From 「ユークリッド損失」から「フル」まで)。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

その他の結果

さらに、nuScenes の視覚的な分析も実行しました。視覚化の結果から、以下の図に示すように、GeMap は回転と平行移動の処理において堅牢であるだけでなく、オクルージョンの問題の解決において一定の利点を示していることがわかります。図

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

図 5. 視覚的な比較結果では、困難なマップ要素がオレンジ色のボックスでマークされています。

雨の日の実験結果では、オクルージョンの堅牢性も定量的に検証しました(下表参照)。これは、雨が自然にカメラをブロックするためです。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

これは、モデルが幾何学的特性を学習するため、オクルージョンがある場合でもマップ要素をより正確に推測できることで説明できます。たとえば、モデルが車線の形状を理解している場合、その一部を「見る」だけで残りを推定できます。モデルは車線の平行関係や車線の幅の特性を理解しているため、たとえそれらの 1 つがブロックされていても、平行関係と幅係数に基づいて、遮蔽された部分を推測することもできます。

要約

我々は、その幾何学的特性を指摘しました。マップ要素とオンラインベクトル化におけるその重要性 高精度マップ構築の価値。これに基づいて、この値を最初に検証するための強力な方法を提案します。さらに、GeMap のオクルージョンに対する堅牢性は、車両と道路の両方が比較的標準化された幾何学的特性を備えているため、他の自動運転タスク (検出、占有予測など) でのオクルージョンに対処するために幾何学的特性を使用するというアイデアを示している可能性があります。もちろん、私たちの手法自体にはさらに研究すべきことがたくさんあります。たとえば、異なる点を使用して、異なる複雑さの幾何学的要素を適応的に記述することができるでしょうか?幾何学的表現を確率論的な観点から理解して、ノイズに対してより堅牢にすることは可能でしょうか?要素の関連付けを単純化したので、幾何学的関連付けをより適切に表現できるものはあるでしょうか?これらはすべて、さらなる最適化のための方向性です。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

書き直す必要があるコンテンツは次のとおりです: https://mp.weixin.qq.com/s/BoxlskT68Kjb07mfwQ7Swg link

以上が初めてのmAP70%超え! GeMap: ローカル高精度マップ SOTA が再び更新されましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

GoogleマップをiPhoneのデフォルト地図にする方法 GoogleマップをiPhoneのデフォルト地図にする方法 Apr 17, 2024 pm 07:34 PM

iPhone のデフォルトの地図は、Apple 独自の地理位置情報プロバイダーである Maps です。マップは改善されていますが、米国外ではうまく機能しません。 Googleマップと比べて何も提供するものはありません。この記事では、Google マップを iPhone のデフォルトの地図として使用するための実行可能な手順について説明します。 Google マップを iPhone のデフォルトの地図にする方法 Google マップを携帯電話のデフォルトの地図アプリとして設定するのは、思っているよりも簡単です。以下の手順に従ってください – 前提条件 – 携帯電話に Gmail がインストールされている必要があります。ステップ 1 – AppStore を開きます。ステップ 2 – 「Gmail」を検索します。ステップ 3 – Gmail アプリの横にある をクリックします

なぜ自動運転ではガウス スプラッティングが非常に人気があるのに、NeRF は放棄され始めているのでしょうか? なぜ自動運転ではガウス スプラッティングが非常に人気があるのに、NeRF は放棄され始めているのでしょうか? Jan 17, 2024 pm 02:57 PM

上記と著者の個人的な理解 3 次元ガウシアンプラッティング (3DGS) は、近年、明示的な放射線フィールドとコンピューター グラフィックスの分野で出現した革新的なテクノロジーです。この革新的な方法は、数百万の 3D ガウスを使用することを特徴とし、主に暗黙的な座標ベースのモデルを使用して空間座標をピクセル値にマッピングする神経放射線場 (NeRF) 方法とは大きく異なります。明示的なシーン表現と微分可能なレンダリング アルゴリズムにより、3DGS はリアルタイム レンダリング機能を保証するだけでなく、前例のないレベルの制御とシーン編集も導入します。これにより、3DGS は、次世代の 3D 再構築と表現にとって大きな変革をもたらす可能性のあるものとして位置付けられます。この目的を達成するために、私たちは 3DGS 分野における最新の開発と懸念について初めて体系的な概要を提供します。

自動運転シナリオにおけるロングテール問題を解決するにはどうすればよいでしょうか? 自動運転シナリオにおけるロングテール問題を解決するにはどうすればよいでしょうか? Jun 02, 2024 pm 02:44 PM

昨日の面接で、ロングテール関連の質問をしたかと聞かれたので、簡単にまとめてみようと思いました。自動運転のロングテール問題とは、自動運転車におけるエッジケース、つまり発生確率が低い考えられるシナリオを指します。認識されているロングテール問題は、現在、単一車両のインテリジェント自動運転車の運用設計領域を制限している主な理由の 1 つです。自動運転の基礎となるアーキテクチャとほとんどの技術的問題は解決されており、残りの 5% のロングテール問題が徐々に自動運転の開発を制限する鍵となってきています。これらの問題には、さまざまな断片的なシナリオ、極端な状況、予測不可能な人間の行動が含まれます。自動運転におけるエッジ シナリオの「ロング テール」とは、自動運転車 (AV) におけるエッジ ケースを指します。エッジ ケースは、発生確率が低い可能性のあるシナリオです。これらの珍しい出来事

自動運転と軌道予測についてはこの記事を読めば十分です! 自動運転と軌道予測についてはこの記事を読めば十分です! Feb 28, 2024 pm 07:20 PM

自動運転では軌道予測が重要な役割を果たしており、自動運転軌道予測とは、車両の走行過程におけるさまざまなデータを分析し、将来の車両の走行軌跡を予測することを指します。自動運転のコアモジュールとして、軌道予測の品質は下流の計画制御にとって非常に重要です。軌道予測タスクには豊富な技術スタックがあり、自動運転の動的/静的知覚、高精度地図、車線境界線、ニューラル ネットワーク アーキテクチャ (CNN&GNN&Transformer) スキルなどに精通している必要があります。始めるのは非常に困難です。多くのファンは、できるだけ早く軌道予測を始めて、落とし穴を避けたいと考えています。今日は、軌道予測に関するよくある問題と入門的な学習方法を取り上げます。関連知識の紹介 1. プレビュー用紙は整っていますか? A: まずアンケートを見てください。

カメラかライダーを選択しますか?堅牢な 3D オブジェクト検出の実現に関する最近のレビュー カメラかライダーを選択しますか?堅牢な 3D オブジェクト検出の実現に関する最近のレビュー Jan 26, 2024 am 11:18 AM

0.前面に書かれています&& 自動運転システムは、さまざまなセンサー (カメラ、ライダー、レーダーなど) を使用して周囲の環境を認識し、アルゴリズムとモデルを使用することにより、高度な知覚、意思決定、および制御テクノロジーに依存しているという個人的な理解リアルタイムの分析と意思決定に。これにより、車両は道路標識の認識、他の車両の検出と追跡、歩行者の行動の予測などを行うことで、安全な運行と複雑な交通環境への適応が可能となり、現在広く注目を集めており、将来の交通分野における重要な開発分野と考えられています。 。 1つ。しかし、自動運転を難しくしているのは、周囲で何が起こっているかを車に理解させる方法を見つけることです。これには、自動運転システムの 3 次元物体検出アルゴリズムが、周囲環境にある物体 (位置を含む) を正確に認識し、記述することができる必要があります。

SIMPL: 自動運転向けのシンプルで効率的なマルチエージェント動作予測ベンチマーク SIMPL: 自動運転向けのシンプルで効率的なマルチエージェント動作予測ベンチマーク Feb 20, 2024 am 11:48 AM

原題: SIMPL: ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving 論文リンク: https://arxiv.org/pdf/2402.02519.pdf コードリンク: https://github.com/HKUST-Aerial-Robotics/SIMPL 著者単位: 香港科学大学DJI 論文のアイデア: この論文は、自動運転車向けのシンプルで効率的な動作予測ベースライン (SIMPL) を提案しています。従来のエージェントセントとの比較

nuScenes の最新 SOTA | SparseAD: スパース クエリは効率的なエンドツーエンドの自動運転に役立ちます。 nuScenes の最新 SOTA | SparseAD: スパース クエリは効率的なエンドツーエンドの自動運転に役立ちます。 Apr 17, 2024 pm 06:22 PM

先頭と開始点に書かれている エンドツーエンドのパラダイムでは、統一されたフレームワークを使用して自動運転システムのマルチタスクを実現します。このパラダイムの単純さと明確さにも関わらず、サブタスクにおけるエンドツーエンドの自動運転手法のパフォーマンスは、依然としてシングルタスク手法に比べてはるかに遅れています。同時に、以前のエンドツーエンド手法で広く使用されていた高密度鳥瞰図 (BEV) 機能により、より多くのモダリティやタスクに拡張することが困難になります。ここでは、スパース検索中心のエンドツーエンド自動運転パラダイム (SparseAD) が提案されています。このパラダイムでは、スパース検索は、高密度の BEV 表現を使用せずに、空間、時間、タスクを含む運転シナリオ全体を完全に表します。具体的には、統合されたスパース アーキテクチャが、検出、追跡、オンライン マッピングなどのタスク認識のために設計されています。さらに、重い

エンドツーエンドおよび次世代の自動運転システムと、エンドツーエンドの自動運転に関する誤解について話しましょう。 エンドツーエンドおよび次世代の自動運転システムと、エンドツーエンドの自動運転に関する誤解について話しましょう。 Apr 15, 2024 pm 04:13 PM

この 1 か月間、いくつかのよく知られた理由により、私は業界のさまざまな教師やクラスメートと非常に集中的な交流をしてきました。この交換で避けられない話題は当然、エンドツーエンドと人気の Tesla FSDV12 です。この機会に、現時点での私の考えや意見を整理し、皆様のご参考とご議論に役立てたいと思います。エンドツーエンドの自動運転システムをどのように定義するか、またエンドツーエンドで解決することが期待される問題は何でしょうか?最も伝統的な定義によれば、エンドツーエンド システムとは、センサーから生の情報を入力し、関心のある変数をタスクに直接出力するシステムを指します。たとえば、画像認識では、従来の特徴抽出 + 分類子方式と比較して、CNN はエンドツーエンドと言えます。自動運転タスクでは、各種センサー(カメラ/LiDAR)からのデータを入力

See all articles