繰り返される困難な気象条件におけるデータセットと運転認識

arXiv 論文「Ithaca365: 繰り返される厳しい気象条件下でのデータセットと運転認識」 (22 年 8 月 1 日にアップロード)、コーネル大学とオハイオ州立大学の研究。

近年、特定の場所や良好な気象条件下で収集されることが多い大規模なデータセットの使用により、自動運転車の認識能力が向上しています。 。ただし、高度な安全要件を満たすために、これらのセンシング システムは、雪や雨の状態を含むさまざまな気象条件において堅牢に動作する必要があります。

この記事では、新しいデータ収集プロセス、つまりさまざまなシナリオ (都市、高速道路、田園地帯、キャンパス)、天候 (雪、雨、太陽) を使用して、堅牢な自動運転を実現するためのデータセットを提案します。 、時間 データは、（昼夜）および交通状況（歩行者、自転車、自動車）の下で、15 km のルートに沿って繰り返し記録されました。

データセットには、カメラや LIDAR センサーからの画像と点群のほか、ルート全体での対応を確立するための高精度 GPS/INS が含まれています。データセットには、道路とオブジェクトの注釈、ローカル オクルージョン、アモーダル マスクでキャプチャされた 3D 境界ボックスが含まれています。

パスを繰り返すことで、ターゲットの発見、継続的な学習、異常検出のための新しい研究の方向性が開かれます。

Ithaca365 リンク: 新しいデータ収集プロセスを介して堅牢な自動運転を可能にする新しいデータセット

写真はデータ収集のセンサー構成を示しています:

図 a は、複数の場所で撮影された画像を含むルート マップを示しています。ドライブは、夜間を含む 1 日のさまざまな時間にデータを収集するようにスケジュールされました。道路除雪の前後の大雪状況を記録します。

データセットの重要な特徴は、同じ場所が異なる条件下でも観察できることです。例を図 b に示します。

図は、さまざまな条件下でのトラバーサル解析を示しています。

---

カスタム マーキング ツールを開発し、使用します。道路や物体のアモーダルマスクを取得します。雪に覆われた道路など、異なる環境条件での道路ラベルの場合は、同じルートを繰り返し通過します。具体的には、GPS 姿勢データと LIDAR データから構築された点群道路マップにより、道路ラベルの「好天」が「悪天候」に変換されます。

ルート/データは 76 の間隔に分割されます。点群を BEV に投影し、ポリゴン アノテーターを使用して道路にラベルを付けます。道路が BEV でマークされると (2 次元の道路境界が生成されます)、ポリゴンは平均高さ 1.5 m のしきい値を使用して、より小さな 150 m^2 のポリゴンに分解され、ポリゴン内の点に対して平面フィットが行われます。道路の高さを決める境界線。

RANSAC とリグレッサーを使用してこれらの点に平面を当てはめ、推定された地表平面を使用して境界に沿った各点の高さを計算します。道路のポイントを画像に投影し、深度マスクを作成して道路の非モーダル ラベルを取得します。 GPS を使用して位置をマークされた地図に照合し、ICP を使用してルートを最適化することで、新しい収集ルート上の特定の位置に地上面を投影できます。

道路ラベルの平均投影グラウンド トゥルース マスクが、同じ場所にある他のすべてのグラウンド トゥルース マスクと 80% の mIOU に適合することを検証することで、ICP ソリューションの最終チェックを行います。適合しない場合は、位置データをクエリします。回収されない。

非モーダル ターゲットには、自動車、バス、トラック (貨物、消防車、ピックアップ トラック、救急車を含む)、歩行者、自転車、オートバイの 6 つの前景ターゲット カテゴリに対して Scale AI のラベルが付けられます。

このラベル付けパラダイムには 3 つの主なコンポーネントがあります。まず、オブジェクトの可視インスタンスを識別し、次にオクルージョンされたインスタンスのセグメンテーション マスクを推測し、最後に各オブジェクトのオクルージョン順序をラベル付けします。マーキングは、前方カメラビューの左端で実行されます。 KINS と同じ標準に従います (「Amodal instancesegmentation with kins dataset」。CVPR、2019)。

環境の多様性とデータセットのアモーダルな品質を実証するために、ピクセル レベルでアモーダルな道路を識別するために 2 つのベースライン ネットワークがトレーニングおよびテストされ、道路が雪や車で覆われている場合でも機能します。最初のベースライン ネットワークは Semantic Foreground Inpainting (SFI) です。図に示すように、2 番目のベースラインでは、SFI を改善するために次の 3 つの革新が採用されています。

1. ポジションとチャネル 注: アモーダル セグメンテーションは主に目に見えないものを推測するため、コンテキストは非常に重要な手がかりとなります。 DAN (「シーン セグメンテーションのためのデュアル アテンション ネットワーク」、CVPR’2019) は、2 つの異なる背景をキャプチャするための 2 つのイノベーションを紹介しています。位置注意モジュール (PAM) は、ピクセル特徴を使用して画像の他のピクセルに焦点を合わせ、実際に画像の他の部分からコンテキストをキャプチャします。チャネル アテンション モジュール (CAM) は、同様のアテンション メカニズムを使用してチャネル情報を効率的に集約します。ここでは、これら 2 つのモジュールがバックボーン特徴抽出器に適用されます。 CAM と PAM を組み合わせて、微細なマスク境界の位置特定を改善します。最終的な前景インスタンス マスクは、アップサンプリング レイヤーを通じて取得されます。
2. 修復としてのハイブリッド プーリング: 最大プーリングはパッチ操作として使用され、重なり合う前景フィーチャを近くの背景フィーチャに置き換え、非モーダル道路フィーチャの復元に役立ちます。ただし、背景の特徴は通常スムーズに分散されるため、最大プーリング操作は追加のノイズの影響を非常に受けやすくなります。対照的に、平均的なプーリング操作ではノイズが自然に軽減されます。この目的のために、平均プーリングと最大プーリングを組み合わせてパッチを適用します。これは、混合プーリングと呼ばれます。
3. Sum 操作: 最後のアップサンプリング層の前に、ハイブリッド プーリング モジュールからの機能は直接渡されませんが、PAM モジュールの出力からの残りのリンクが含まれます。道路セグメンテーション ブランチ内の 2 つの特徴マップを共同で最適化することにより、PAM モジュールは遮蔽された領域の背景の特徴も学習できます。これにより、バックグラウンドの特徴をより正確に回復できるようになります。

この図は、PAM と CAM のアーキテクチャ図を示しています。

ハイブリッド プーリング パッチ適用アルゴリズムの疑似コードは次のとおりです。

非モーダル道路セグメンテーションのトレーニング コードとテスト コードは次のとおりです: https://github##.com/coolgrasshopper/amodal_road_segmentation

実験結果は次のとおりです:

##

以上が繰り返される困難な気象条件におけるデータセットと運転認識の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。