自動運転の LIDAR と視覚融合認識を理解するための 1 つの記事

2022年は知能運転のL2からL3/L4への移行期であり、より高度な知能運転の量産化を進める自動車メーカーが増え、自動車知能化の時代が静かに到来しています。

LiDAR ハードウェアの技術向上、自動車グレードの量産化とコスト削減、高度なインテリジェント運転機能により、乗用車分野での LiDAR の量産化が促進されています。今年は数多くの LiDAR 搭載モデルが納入される予定であり、2022 年は「路上 LIDAR 元年」としても知られています。

01 Lidar センサーと画像センサー

Lidar は、物体の 3 次元位置を正確に取得するために使用されるセンサーです。レーザー検出と測距。目標の輪郭測定と汎用障害物検出における優れた性能により、L4自動運転の中核構成となりつつあります。

ただし、LIDAR の測距範囲 (通常は約 200 メートル、各メーカーの量産モデルではインジケーターが異なります) の知覚範囲は、ライダーの認識範囲よりもはるかに小さくなります。イメージセンサー。

また、角度分解能 (通常 0.1° または 0.2°) が比較的小さいため、点群の分解能はイメージ センサーの分解能よりもはるかに小さくなります。画像上の点が非常にまばらであるため、画像化することさえできない場合があります。点群ターゲット検出の場合、アルゴリズムが実際に使用できる有効点群距離はわずか約 100 メートルです。

画像センサーは、高フレーム レートと高解像度で複雑な周囲情報を取得でき、安価です。異なる FOV と解像度を持つ複数のセンサーを、異なる距離と範囲に配置できます。解像度は 2K ～ 4K に達します。

しかし、イメージ センサーはパッシブ センサーであり、奥行き認識が不十分で測距精度が低いため、特に過酷な環境ではセンシング作業の難易度が大幅に高まります。

強い光、夜間の低照度、雨、雪、霧、その他の天候や光環境に直面して、インテリジェントな運転にはセンサー アルゴリズムに対する高い要件が求められます。 LIDAR は周囲光の影響を受けませんが、距離測定は浸水した道路やガラスの壁などの影響を大きく受けます。

LIDAR とイメージ センサーにはそれぞれ独自の長所と短所があることがわかります。ほとんどの高レベルのスマート運転乗用車は、互いの利点を補完し、冗長性を統合するために、さまざまなセンサーを統合することを選択します。

このような融合センシングソリューションは、高度な自動運転のキーテクノロジーの1つでもあります。

02 深層学習に基づく点群と画像の融合知覚

点群と画像の融合は、MSF のマルチセンサー フュージョンに属します。 ) 技術分野では、従来のランダム手法と深層学習手法があり、融合システムにおける情報処理の抽象化レベルに応じて主に 3 つのレベルに分けられます。 ##データ層融合 (Early Fusion)

センサー観測データを融合し、融合したデータから特徴を抽出して識別します。 3D ターゲット検出では、PointPainting (CVPR20) がこのメソッドを採用しています。PointPainting メソッドは、最初に画像上でセマンティック セグメンテーションを実行し、ポイントから画像へのピクセル マトリックスを介してセグメント化された特徴を点群にマッピングし、次に「ポイントを描画」します。点群は 3D 点群検出器に送信され、ターゲット ボックスで回帰が実行されます。

フィーチャー レイヤー フュージョン (ディープ フュージョン)

まず、各センサーから得られる観測データから自然データの特徴を抽出し、それらの特徴を融合して識別します。深層学習に基づく融合手法では、点群と画像ブランチの両方に特徴抽出器を使用し、画像ブランチと点群ブランチのネットワークを順方向フィードバックレベルでレベルごとに意味的に融合することで多次元の融合を実現します。スケール情報、セマンティック融合。 ディープラーニングに基づく特徴層融合手法は、複数のセンサー間の時空間同期に高い要求があり、一度同期がうまくいかないと、特徴融合の効果に直接影響を及ぼします。同時に、スケールや視野角の違いにより、LiDAR と画像の機能融合で 1 1>2 の効果を達成することは困難です。

#意思決定層融合 (Late Fusion)

## 最初の 2 つと比較すると、これは最も単純な融合方法です。データ層やフィーチャ層で融合するのではなく、ターゲットレベルで融合するため、異なるセンサー ネットワーク構造は相互に影響せず、個別にトレーニングして組み合わせることができます。

意思決定層で融合された 2 種類のセンサーと検出器は互いに独立しているため、センサーが故障した場合でもセンサーの冗長処理を実行でき、エンジニアリングの堅牢性が向上します。優れている。

LIDAR と視覚融合認識テクノロジーの継続的な反復と、ナレッジ シナリオと事例の継続的な蓄積により、自動運転のより安全で信頼性の高い未来をもたらすために、フルスタックのコンバージド コンピューティング ソリューションがますます登場しています。

以上が自動運転の LIDAR と視覚融合認識を理解するための 1 つの記事の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。