より詳細な背景と前景の制御、より高速な編集: BEVControl の 2 段階のアプローチ

この記事では、BEV Sketch レイアウトを通じてマルチビューのストリートビュー画像を正確に生成する方法を紹介します

自動運転の分野では、画像合成が広く使用されています。下流の知覚を改善する タスクのパフォーマンスを改善する

コンピュータ ビジョンの分野において、知覚モデルのパフォーマンスを向上させるための長年の研究課題は、画像を合成することによってそれを達成することです。マルチビューカメラを使用するビジョン中心の自動運転システムでは、一部のロングテールシーンが収集できないため、この問題はより顕著になります。図1(a)、既存の生成方法は、セマンティックセグメンテーションスタイルのBEV構造を生成ネットワークに入力し、合理的な多視点画像を出力します。シーンレベルの指標のみで評価すると、既存の方法はフォトリアリスティックなストリートビュー画像を合成できるように見えます。しかし、ズームインすると、正確なオブジェクトレベルの詳細を生成できないことがわかりました。この図では、最先端の生成アルゴリズムによくある間違い、つまり、生成された車両がターゲットの 3D バウンディング ボックスと比較して完全に反対方向を向いていることを示しています。さらに、セマンティックセグメンテーション方式の BEV 構造の編集は多くの人手を必要とする困難な作業であるため、図 1(b) に示すように、より洗練された背景と前景の形状を提供する BEVControl と呼ばれる 2 段階の手法を提案します。 。 BEVControl はスケッチ スタイルの BEV 構造入力をサポートしており、迅速かつ簡単な編集が可能です。さらに、BEVControl は視覚的な一貫性を 2 つのサブ目標に分解します: コントローラーを介したストリート ビューと鳥瞰図間の幾何学的一貫性、コーディネーターを介したストリート ビュー間の外観の一貫性

##Paperリンク:

https://www.php.cn/link/1531beb762df4029513ebf9295e0d34f

#メソッドフレームワーク

BEVControl は、一連のモジュールで構成される、UNet 構造の生成されたネットワークです。各モジュールには、コントローラーとコーディネーターという 2 つの要素があります。

入力: BEV スケッチ、マルチビュー ノイズ イメージ、および簡単に編集できるテキスト プロンプト; 出力: 生成されたマルチビュー イメージ。

#メソッドの詳細

BEV スケッチをカメラの状態に投影するプロセス。入力は BEV スケッチです。出力は、マルチビューの前景条件と背景条件です。

コントローラー: カメラ ビュー スケッチの前景と背景の情報を自発的に受信し、BEV スケッチ Streetscape との幾何学的一貫性を出力します。特徴。

• コーディネーター: 新しいクロスビューおよびクロスエレメント アテンション メカニズムを利用して、ビュー間のコンテキスト インタラクションを実現し、外観の一貫性を保ったストリート ビュー機能を出力します。

提案された評価指標

• 最近のストリート ビュー画像生成作業では、シーン レベルの指標 (FID、道路 MIoU、など）品質。
• 以下の図に示すように、これらの指標のみを使用して生成ネットワークの真の生成能力を評価することは不可能であることがわかりました。報告された定性的および定量的結果は、両方のグループが同様の FID スコアを持つストリート ビュー画像を生成するものの、前景と背景をきめ細かく制御する機能が大きく異なることを示しています。

そこで、生成されたネットワークの制御能力を細かく測定するための評価指標セットを提案します。

• 定量的結果

BEVControl と提案された最先端の手法の比較評価指標。

データ拡張に BEVControl を適用して、ターゲット検出タスクを改善します。

定性的結果

• BEVControl と NuScenes 検証セットでの最先端のメソッドの比較。





デモ効果



##書き換える必要がある内容は次のとおりです。 参照

書き換える必要がある内容は次のとおりです。 [1] Swerdlow A、Xu R、Zhou B。鳥瞰図レイアウト[ J]. arXiv プレプリント arXiv:2301.04634, 2023.

以上がより詳細な背景と前景の制御、より高速な編集: BEVControl の 2 段階のアプローチの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。