目次
01 ステレオ マッチング" >01 ステレオ マッチング
03 代表的な双眼自動走行システム" >03 代表的な双眼自動走行システム
ホームページ テクノロジー周辺機器 AI 両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

May 19, 2023 am 10:12 AM
システム ビジョン

モービルアイ (ME) の魔法の武器である単眼視は、当時は両眼視も検討していましたが、最終的には断念しました。

単眼測距と 3D 推定は何に依存しますか?対象物を検出するのはバウンディングボックス(BB)ですが、障害物が検出できない場合、システムは障害物までの距離や3次元姿勢・方位を推定できません。ディープラーニングを行わない場合、ME は主に BB、カメラキャリブレーションによって得られた姿勢と高さ、および路面が直線であるという仮定に基づいて距離を推定します。

ディープ ラーニングを使用すると、3 次元のグラウンド トゥルースに基づいて NN モデルをトレーニングし、3 次元のサイズと姿勢の推定値を取得できます。距離は平行線原理 (単一ビュー) に基づいて取得されます。計測学)。 Baidu Apollo が最近発表した単眼 L3 ソリューションがそれを明確に説明しています。参考論文は「深層学習と幾何学による 3D Bounding Box Estimation」です。

双眼でも確実に視差と奥行きを計算できます、障害物が検出されなかった場合でも(追加の深さ情報があるため、検出器は単眼鏡よりも優れています)、警報が鳴ります。問題は、両眼視システムが視差を推定するのはそれほど簡単ではないということです。ステレオ マッチングは、コンピュータ ビジョンにおける典型的な問題です。広いベースラインは遠くのターゲットに対して正確な測距結果をもたらしますが、短いベースラインはターゲットに対して良好な測距結果をもたらします。ここにはトレードオフがあります。

現在市販されているADAS双眼視覚システムはスバルアイサイトで、その性能は大丈夫と言われています。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

百度が発売したアポロ L4 シャトルバスは 100 台が量産され、双眼システムが搭載されました。 EUの自動駐車プロジェクトV-Chargeも前方両眼視システムを採用しており、レーダーシステムと一体化した自動運転研究開発システムのベルタベンツもその中でも両眼照合障害物検知アルゴリズムStixelは非常に有名です。ボッシュやコンティなどのティア1企業も過去に両眼視ソリューションを開発していたが、市場に影響を与えず、開発を中止したと伝えられている。

双眼システムの難しさと言えば、ステレオマッチングに加えてキャリブレーションもあります。校正されたシステムは「ドリフト」するため、オンライン校正が必須です。単眼の場合も同様です。タイヤの変形や車体の凹凸がカメラの外部パラメータの変化に影響を与えるため、ピッチ角やヨー角などの一部のパラメータはオンラインで校正および修正する必要があります。

両眼オンラインキャリブレーションはより複雑です。両眼マッチングは 1 次元検索と同じくらい簡単なので、2 つのレンズの光軸をベースラインに対して平行および垂直にする必要があります。ステレオ整流を介して。したがって、得られる利益と比較して、複雑さとコストの増加により費用対効果がなければ、加盟店は諦めることになります。

シリコンバレーのチップ企業アンバレラが2014年にイタリアのパルマ大学のVis Labを買収し、昨年のCESの後、両眼視ADASと自動運転チップを開発したことから、両眼視機能が最近話題になっています。 、自動車会社やTier-1に参入し始めました。さらに、Ambarella は現在、システムのパフォーマンスを向上させるための研究を継続しています。

下の図は、車のルーフに設置された 6 組のステレオ ビジョン システムの概略図です。ベースライン幅が異なる場合があり、それに応じて有効検出距離も異なります。筆者も自動運転車に乗ったことがあるが、200メートル先、20~30メートル先まで見えることができた。確かに、オンラインキャリブレーションを実行し、いつでもいくつかの両眼視パラメータを調整できます。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

01 ステレオ マッチング

まずはステレオ マッチング、つまり視差/奥行き推定について話しましょう。 。図に示すように、左右のカメラの焦点距離をf、ベースライン(2つの光学中心を結ぶ線)の幅をB、3次元点の深さを##とします。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

可視視差は奥行き値を逆計算できます。しかし、ここで最も難しいのは、左右のレンズで見た像が同じ対象であるとどのように判断するか、つまりマッチング問題です。

マッチング方法にはグローバル方式とローカル方式の 2 つがあり、両眼マッチングには次の 4 つのステップがあります:

  • マッチングコスト計算;
  • コスト集計;
  • 格差計算/最適化;
  • 格差の調整。

最も有名なローカル方式は SGM (セミグローバル マッチング) です。多くの製品で使用されている方式はこの改良に基づいており、多くのビジョン チップがこの方式を使用しています。

SGM は、グローバル最適化を複数のローカル最適化問題の組み合わせに近似します。次の式は 2 次元マッチングの最適化目的関数です。SGM は複数の 1 次元最適化パスとして実装されます

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

#次の図は、水平方向に沿ったパス最適化関数です

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

##Census Transform は 8/24 ビット ピクセルをバイナリ シーケンスに変換します。LBP (ローカル バイナリ パターン) と呼ばれる別のバイナリ機能もこれに似ています。ステレオ マッチング アルゴリズムはこの変換に基づいており、マッチングをハミング距離の最小化検索に変換します。 Intel の RealSense は、この技術をベースに 1994 年に設立された両眼視ビジョンのスタートアップ企業を買収し、さらに他のいくつかの中小企業も買収して統合して設立しました。

次の図は CS 変換の概略図です。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

PatchMatch は、CS 変換を高速化するアルゴリズムです画像テンプレート マッチングは、オプティカル フローの計算と視差推定に使用されます。 Microsoft Research は、以前に、RGB-D アルゴリズムに基づいて以前に成功した KinectFusion を模倣し、MonoFusion に似た名前で、単眼の携帯電話カメラの 3D 再構成に基づくプロジェクトを実施しました。このプロジェクトでは、深度マップの推定には修正された PatchMatch メソッドが使用されます。 。

基本的な考え方は、視差パラメータと平面パラメータをランダムに初期化し、隣接するピクセル間の情報伝播を通じて推定値を更新することです。 PM アルゴリズムは 5 つのステップに分かれています:

  • 1) 空間伝播: 各ピクセルは左および上に隣接するピクセルの視差と平面パラメーターをチェックします。 、現在の推定値を置き換えます;
  • #2) 伝播を表示: ピクセルを他の視点から変換し、対応する画像の推定値を確認し、小さくなった場合は置き換えます;
  • 3) 時間的伝播: 前後のフレームの対応するピクセルの推定を考慮します;
  • 4) 平面改良: 推定がもたらす場合、サンプルをランダムに生成します。マッチングコストダウン、アップデート。
  • 5) 後処理: 左右の一貫性と加重中央値フィルターにより外れ値を除去します。

#次の図は PM の概略図です。

#02 オンライン キャリブレーション

オンライン校正の詳細。

これは、道路標示(横断歩道)を使用したキャリブレーション手法です。横断歩道の平行線パターンが既知であり、横断歩道を検出してコーナー点を抽出し、横断歩道パターンと路面を計算してマッチングを実現し、ホモグラフィー パラメータを使用して校正パラメータを取得します。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

もう 1 つの方法は VO と SLAM に基づいており、より複雑ですが、マップベースの測位を同時に行うことができます。オンライン キャリブレーションに SLAM を使用することは、高頻度の操作には適していません。次の図はそのアルゴリズムのフローチャートです: ステップ 1 ~ 4、ステレオ ビジョン SLAM を通じてグローバル連続マップを取得します。ステップ 5 は、双眼カメラの初期推定を示します。変換、ステップ 6 すべてのステレオ カメラのマップを 1 つのマップに集約し、ステップ 7 ~ 8 で複数のカメラ間のポーズを取得します。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

単眼法と同様に、オンライン キャリブレーションは、車線の境界線が平行で道路が平坦であるという仮定、つまり消失点理論を使用して迅速に完了できます。平坦な道路モデル、明確な縦方向の車線の境界線、他のオブジェクトにそれらに平行なエッジがないことを前提としています。運転速度は遅くする必要があり、車線の境界線は連続しており、左右のカメラの両眼構成を比較する必要があります。路面に対する左カメラのエレベーション/ロール角(ヨー/ロール角)が小さいため、初期化された消失点と比較することで両眼外部パラメータのドリフト量を計算できます(オフラインキャリブレーションに関連) (図 5-269). アルゴリズムは、消失点からカメラの仰角/斜角を推定することです。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

03 代表的な双眼自動走行システム

代表的な双眼自動走行システムの駆動システムをいくつか紹介します。 。

Berta Benz が使用する障害物検出アルゴリズム Stixel は、次の前提に基づいています。シーン内のターゲットは柱として記述され、ターゲットの重心は地面に立っています。 、各ターゲットの上部は下部よりも大きく、深さは大きくなります。次の図 (a ~ d) は、SGM 視差結果がどのように Stixel セグメンテーション結果を生成するかを示しています。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

次の図は、Stixel 計算の概略図です。 ) ダイナミクスに基づく計画された自由走行空間の計算 (b) 高さセグメンテーションの属性値 (c) コスト画像 (グレースケール値の反転) (d) 高さセグメンテーション。

#これは、視差融合を行うために深層学習を追加した後の Stixel のブロック図と新しい結果です:

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

#VisLab の初期の両眼障害物アルゴリズムである汎用障害物および車線検出システム (GOLD) を紹介します。 IPM (逆遠近マッピング) に基づいて、車線境界線を検出し、左右の画像の差に基づいて道路上の障害物を計算します。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

(a) 左 (b) 右 (c) 再マッピングされた左 (d) 再マッピングされた右 (e) 再マッピングされたビュー間のしきい値とフィルター処理された差 (f) 明るい灰色で、両方のカメラから見える道路エリア。

(a) オリジナル (b) リマップ (c) フィルタリング (d) 拡張 (e) バイナリ化

GOLD システムアーキテクチャ

自動運転競技会 VIAC (VisLab Intercontinental Autonomous Challenge) に参加する VisLab の車両です。双眼カメラのほか、道路分類の補助として車両レーダーにもレーザーが搭載されています。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

#これは、両眼障害物検出のフローチャートです。視差推定では、SGM アルゴリズムと SAD に基づく関連アルゴリズムが利用されます。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

図 5-274 に示すように、2 つの DSI (視差空間画像) 空間フィルターが後処理に追加されます。1 つはスムージング処理です。もう 1 つは慣性航法 (IMU) に基づく運動軌跡処理です。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

障害物検出アルゴリズムはJPL法を採用し、空間レイアウト特性と車両の物理的特性に基づいて障害物をクラスタリングします。物理的特性には、道路の最大高さ (車両)、最小高さ (障害物)、および最大通行可能範囲が含まれます。これらの制約により、図に示すように空間的な円錐台が定義され、クラスタリング プロセス中にすべてがその範囲内の点に収まります。円錐台は障害物として指定されます。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

#視差推定アルゴリズムを高速化するために、DSI を分割する方法が採用されています。

#もう 1 つの古典的な方法は、道路方程式 (立体視) に基づいて道路視差を取得し、これに基づいて道路上の障害物を計算することです。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

04 概要

両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。

一般に、両眼で障害物を検出する方法は、基本的に視差マップに基づいています。 、道路格差に基づいた多くの方法があります。おそらく、ディープラーニングの急速な発展とコンピューティングプラットフォームの強化により、両眼式の自動運転システムも普及するでしょう。

以上が両眼自動運転システムの普及が難しい理由を技術的な観点からお話しましょう。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

CUDA の汎用行列乗算: 入門から習熟まで! CUDA の汎用行列乗算: 入門から習熟まで! Mar 25, 2024 pm 12:30 PM

General Matrix Multiplication (GEMM) は、多くのアプリケーションやアルゴリズムの重要な部分であり、コンピューター ハードウェアのパフォーマンスを評価するための重要な指標の 1 つでもあります。 GEMM の実装に関する徹底的な調査と最適化は、ハイ パフォーマンス コンピューティングとソフトウェア システムとハードウェア システムの関係をより深く理解するのに役立ちます。コンピューター サイエンスでは、GEMM を効果的に最適化すると、計算速度が向上し、リソースが節約されます。これは、コンピューター システムの全体的なパフォーマンスを向上させるために非常に重要です。 GEMM の動作原理と最適化方法を深く理解することは、最新のコンピューティング ハードウェアの可能性をより有効に活用し、さまざまな複雑なコンピューティング タスクに対してより効率的なソリューションを提供するのに役立ちます。 GEMMのパフォーマンスを最適化することで

ファーウェイのQiankun ADS3.0インテリジェント運転システムは8月に発売され、初めてXiangjie S9に搭載される ファーウェイのQiankun ADS3.0インテリジェント運転システムは8月に発売され、初めてXiangjie S9に搭載される Jul 30, 2024 pm 02:17 PM

7月29日、AITO Wenjieの40万台目の新車のロールオフ式典に、ファーウェイの常務取締役、ターミナルBG会長、スマートカーソリューションBU会長のYu Chengdong氏が出席し、スピーチを行い、Wenjieシリーズモデルの発売を発表した。 8月にHuawei Qiankun ADS 3.0バージョンが発売され、8月から9月にかけて順次アップグレードが行われる予定です。 8月6日に発売されるXiangjie S9には、ファーウェイのADS3.0インテリジェント運転システムが初搭載される。 LiDARの支援により、Huawei Qiankun ADS3.0バージョンはインテリジェント運転機能を大幅に向上させ、エンドツーエンドの統合機能を備え、GOD(一般障害物識別)/PDP(予測)の新しいエンドツーエンドアーキテクチャを採用します。意思決定と制御)、駐車スペースから駐車スペースまでのスマート運転のNCA機能の提供、CAS3.0のアップグレード

ORB-SLAM3を超えて! SL-SLAM: 低照度、重度のジッター、弱いテクスチャのシーンはすべて処理されます。 ORB-SLAM3を超えて! SL-SLAM: 低照度、重度のジッター、弱いテクスチャのシーンはすべて処理されます。 May 30, 2024 am 09:35 AM

以前に書きましたが、今日は、深層学習テクノロジーが複雑な環境におけるビジョンベースの SLAM (同時ローカリゼーションとマッピング) のパフォーマンスをどのように向上させることができるかについて説明します。ここでは、深部特徴抽出と深度マッチング手法を組み合わせることで、低照度条件、動的照明、テクスチャの弱い領域、激しいセックスなどの困難なシナリオでの適応を改善するように設計された多用途のハイブリッド ビジュアル SLAM システムを紹介します。当社のシステムは、拡張単眼、ステレオ、単眼慣性、ステレオ慣性構成を含む複数のモードをサポートしています。さらに、他の研究にインスピレーションを与えるために、ビジュアル SLAM と深層学習手法を組み合わせる方法も分析します。公開データセットと自己サンプリングデータに関する広範な実験を通じて、測位精度と追跡堅牢性の点で SL-SLAM の優位性を実証しました。

Apple 16 システムのどのバージョンが最適ですか? Apple 16 システムのどのバージョンが最適ですか? Mar 08, 2024 pm 05:16 PM

Apple 16 システムの最適なバージョンは iOS16.1.4 です。iOS16 システムの最適なバージョンは人によって異なります。日常の使用体験における追加と改善も多くのユーザーから賞賛されています。 Apple 16 システムの最適なバージョンはどれですか? 回答: iOS16.1.4 iOS 16 システムの最適なバージョンは人によって異なる場合があります。公開情報によると、2022 年にリリースされた iOS16 は非常に安定していてパフォーマンスの高いバージョンであると考えられており、ユーザーはその全体的なエクスペリエンスに非常に満足しています。また、iOS16では新機能の追加や日常の使用感の向上も多くのユーザーからご好評をいただいております。特に最新のバッテリー寿命、信号性能、加熱制御に関して、ユーザーからのフィードバックは比較的好評です。ただし、iPhone14を考慮すると、

常に新しい! Huawei Mate60シリーズがHarmonyOS 4.2にアップグレード:AIクラウドの強化、Xiaoyi方言はとても使いやすい 常に新しい! Huawei Mate60シリーズがHarmonyOS 4.2にアップグレード:AIクラウドの強化、Xiaoyi方言はとても使いやすい Jun 02, 2024 pm 02:58 PM

4月11日、ファーウェイはHarmonyOS 4.2 100台のアップグレード計画を初めて正式に発表し、今回は携帯電話、タブレット、時計、ヘッドフォン、スマートスクリーンなどのデバイスを含む180台以上のデバイスがアップグレードに参加する予定だ。先月、HarmonyOS4.2 100台アップグレード計画の着実な進捗に伴い、Huawei Pocket2、Huawei MateX5シリーズ、nova12シリーズ、Huawei Puraシリーズなどの多くの人気モデルもアップグレードと適応を開始しました。 HarmonyOS によってもたらされる共通の、そして多くの場合新しい体験を楽しむことができる Huawei モデルのユーザーが増えることになります。ユーザーのフィードバックから判断すると、HarmonyOS4.2にアップグレードした後、Huawei Mate60シリーズモデルのエクスペリエンスがあらゆる面で向上しました。特にファーウェイM

コンピュータのオペレーティング システムとは何ですか? コンピュータのオペレーティング システムとは何ですか? Jan 12, 2024 pm 03:12 PM

コンピュータ オペレーティング システムは、コンピュータ ハードウェアとソフトウェア プログラムを管理するために使用されるシステムです。また、すべてのソフトウェア システムに基づいて開発されたオペレーティング システム プログラムでもあります。オペレーティング システムが異なれば、ユーザーも異なります。では、コンピュータ システムとは何でしょうか?以下では、編集者がコンピューターのオペレーティング システムとは何かについて説明します。いわゆるオペレーティング システムはコンピュータのハードウェアとソフトウェア プログラムを管理するもので、すべてのソフトウェアはオペレーティング システム プログラムに基づいて開発されます。実際、OSには産業用、商業用、個人用など多くの種類があり、幅広い用途に対応しています。以下では、編集者がコンピューターのオペレーティングシステムとは何かについて説明します。 Windows システムとはどのようなコンピュータのオペレーティング システムですか? Windows システムは、米国 Microsoft Corporation によって開発されたオペレーティング システムです。ほとんどよりも

自動運転の初の純粋な視覚的静的再構築 自動運転の初の純粋な視覚的静的再構築 Jun 02, 2024 pm 03:24 PM

純粋に視覚的な注釈ソリューションでは、主に視覚に加えて、GPS、IMU、および車輪速度センサーからのデータを動的注釈に使用します。もちろん、量産シナリオでは、純粋な視覚である必要はありません。一部の量産車両には固体レーダー (AT128) などのセンサーが搭載されています。大量生産の観点からデータの閉ループを作成し、これらすべてのセンサーを使用すると、動的オブジェクトのラベル付けの問題を効果的に解決できます。しかし、私たちの計画には固体レーダーはありません。したがって、この最も一般的な量産ラベル ソリューションを紹介します。純粋に視覚的な注釈ソリューションの中核は、高精度のポーズ再構築にあります。再構築の精度を確保するために、Structure from Motion (SFM) のポーズ再構築スキームを使用します。でもパスする

Linux と Windows システムにおける cmd コマンドの相違点と類似点 Linux と Windows システムにおける cmd コマンドの相違点と類似点 Mar 15, 2024 am 08:12 AM

Linux と Windows は 2 つの一般的なオペレーティング システムで、それぞれオープン ソースの Linux システムと商用 Windows システムを表します。どちらのオペレーティング システムにも、ユーザーがオペレーティング システムと対話するためのコマンド ライン インターフェイスがあります。 Linux システムでは、ユーザーはシェル コマンド ラインを使用しますが、Windows システムでは、cmd コマンド ラインを使用します。 Linux システムのシェル コマンド ラインは、ほぼすべてのシステム管理タスクを完了できる非常に強力なツールです。

See all articles