FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

原題: FlashOcc: Fast and Memory-Efficient Occupancy Prediction via Channel-to-Height Plugin

論文リンク: https://arxiv.org/pdf/2311.12058.pdf

著者単位: 大連理工大学 Houmo AI アデレード大学

論文のアイデア:

3D ターゲット検出の問題 遍在するロングテールの欠点と、複雑な形状に欠けている機能のため、占有予測は自動運転システムの重要なコンポーネントとなっています。ただし、3 次元のボクセル レベルの表現の処理では、メモリと計算の点で必然的に大幅なオーバーヘッドが発生し、これまでの占有予測方法の展開を妨げています。モデルがより大きく、より複雑になる傾向とは反対に、この論文では、理想的なフレームワークは、高い精度を維持しながら、さまざまなチップ間で導入しやすいものでなければならないと主張しています。この目的を達成するために、この文書では、高精度を維持しながら高速でメモリ効率の高い占有予測を統合するためのプラグアンドプレイ パラダイムである FlashOCC を提案します。特に、当社の FlashOCC は、現代のボクセルレベルの占有予測方法に基づいて 2 つの改善を行っています。まず、特徴が BEV に保存されるため、特徴抽出に効率的な 2D 畳み込み層を使用できるようになります。第二に、BEV の出力ロジットを 3D 空間に促進するために、チャネルから高さへの変換が導入されます。このペーパーでは、FlashOCC を困難な Occ3D-nuScenes ベンチマークのさまざまな占有予測ベースラインに適用し、その有効性を検証するために広範な実験を実施します。結果は、当社のプラグアンドプレイパラダイムが精度、ランタイム効率、メモリコストの点で以前の最先端の方法よりも優れていることを確認し、その導入の可能性を示しています。コードは使用できるようになります。

ネットワーク設計:

サブピクセル畳み込み技術 [26] に触発され、画像のアップサンプリングをチャネルの再配置に置き換えて、チャネルから空間への特徴変換を実現します。この研究では、チャネルから高さへの特徴変換を効率的に達成することを目的としています。 BEV 表現の各ピクセルに高さ次元の対応する柱状オブジェクトに関する情報が含まれる BEV 知覚タスクの開発を考慮して、チャネルから高さへの変換を直感的に利用して BEV の特徴を平坦化します。 。したがって、図 1(a) に示すように、私たちの研究は、新しいモデル アーキテクチャを開発するのではなく、汎用的でプラグ アンド プレイの方法で既存のモデルを強化することに焦点を当てています。具体的には、現代の手法における 3D 畳み込みの代わりに 2D 畳み込みを直接使用し、3D 畳み込み出力から導出された占有ロジットを、2D 畳み込みを通じて取得された BEV レベルの特徴のチャネルから高さへの変換に置き換えます。これらのモデルは、精度と時間消費の間で最適なトレードオフを達成するだけでなく、優れた導入互換性を実証します。

FlashOcc は、非常に高い精度でリアルタイムのルックアラウンド 3D 占有予測を完了することに成功し、この分野での独創的な貢献を示しています。分野。さらに、高価なボクセルレベルの特徴処理を必要とせず、ビュートランスフォーマーや 3D (変形可能) 畳み込み演算子が回避されるため、さまざまな車両プラットフォームに展開するための汎用性が向上します。図 2 に示すように、FlashOcc の入力データはサラウンド画像で構成され、出力は密集占有予測結果です。この記事の FlashOcc は、多用途かつプラグアンドプレイの方法で既存のモデルを強化することに焦点を当てていますが、それでも 5 つの基本モジュールに分けることができます: (1) 2D 画像エンコーダー。マルチカメラ画像から画像特徴を抽出します。 (2) 2D 知覚ビュー画像特徴を 3D BEV 表現にマッピングするのに役立つビュー変換モジュール。 (3) BEV エンコーダ。BEV 機能情報の処理を担当します。 (4) 予測モジュールを占有して、各ボクセルのセグメンテーション ラベルを予測します。 (5) パフォーマンスを向上させるために履歴情報を統合するように設計されたオプションの時間融合モジュール。

図 1.(a) は、提案された FlashOcc がプラグ アンド プレイ方式でどのように実装できるかを示しています。最新の手法では、3D-Conv によって処理されたボクセルレベルの 3D 特徴を使用して占有率を予測します。対照的に、私たちのプラグイン置換モデルは、(1) 3D-Conv を 2D-Conv に置き換え、(2) 3D-Conv から導出された占有ロジットをチャネルから高さへの変換に置き換えることによって実装されます。 2D-Conv を介して取得された BEV レベルの特徴の予測。 「Conv」という略語はコンボリューションを表します。 (b) は、精度と、速度、推論メモリ消費量、トレーニング期間などの要素との間のトレードオフを示しています。

図 2. この図は FlashOcc の全体的なアーキテクチャを示しており、ズーム機能を使用してカラーで表示するのが最適です。破線のボックスで指定された領域は、交換可能なモジュールの存在を示します。各交換可能なモジュールの特徴形状は、それぞれ 2D 画像、BEV レベル、ボクセル レベルの特徴を表すアイコンによって表されます。水色の領域はオプションの時間融合モジュールに対応しており、その使用は赤いスイッチのアクティブ化によって異なります。

図 4 は、3D ボクセル レベルの表現処理とこの記事で提案されているプラ​​グイン置換のアーキテクチャの比較を示しています。

実験結果:

#概要:

この記事では、高速でメモリ効率の高い占有予測を実現するために設計された、FlashOCC と呼ばれるプラグ アンド プレイ メソッドを紹介します。この方法では、2D 畳み込みを使用してボクセルベースの占有方法の 3D 畳み込みを直接置き換え、チャネルから高さへの変換を組み合わせて、平坦化された BEV フィーチャを占有ロジットに再形成します。 FlashOCC は、さまざまなボクセルレベルの占有予測方法にわたってその有効性と一般化可能性を実証しています。広範な実験により、この方法が精度、時間消費、メモリ効率、展開の容易さの点で以前の最先端の方法よりも優れていることが実証されています。私たちの知る限り、FlashOCC はサブピクセル パラダイム (チャネルから高さまで) を占有タスクに適用する最初の方法であり、BEV レベルの機能のみを活用し、計算による 3D (変形可能な) 畳み込みやトランスフォーマーの使用を完全に回避します。モジュール。視覚化の結果は、FlashOCC が高さ情報をうまく保持していることを説得力をもって示しています。将来の研究では、この方法は自動運転の認識パイプラインに統合され、効率的なオンチップ展開の実現を目指します。

引用:

Yu, Z., Shu, C.、Deng, J.、Lu, K.、Liu, Z.、Yu, J.、Yang, D.、Li, H.、Chen, Y. (2023). FlashOcc: 高速とメモリ - Channel-to-Height プラグインによる効率的な占有予測。ArXiv. /abs/2311.12058

元のリンク: https://mp.weixin.qq.com/ s/JDPlWj8FnZffJZc9PIsvXQ

以上がFlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。