浙江大学 Li Xi のチーム: 表現の理解を参照するための新しい方法、ScanFormer は粗いものから細かいものまで繰り返し、視覚的な冗長性を排除します

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

この論文の著者は全員、浙江大学のLi Xi教授のチームのメンバーであり、論文の最初の著者は博士課程の学生です。 Wei 氏、責任著者は Li 教授 (IET フェロー、国家優秀若手研究者) です。近年、Li Xi教授のチームは、180件を超えるCV/AIGC関連の研究成果を権威ある国際ジャーナル(TPAMI、IJCVなど)や主要な国際学術会議(ICCV、CVPR、ECCVなど)で発表しています。国内外の著名な大学や科学研究機関と幅広く協力しています。

基本的な視覚言語タスクとして、参照表現理解 (REC) は、自然言語記述に基づいて画像内の参照先の位置を特定します。 REC モデルは通常、ビジュアル エンコーダー、テキスト エンコーダー、クロスモーダル インタラクションの 3 つの部分で構成され、それぞれビジュアル特徴、テキスト特徴、クロスモーダル特徴のインタラクションと強化を抽出するために使用されます。

現在の研究のほとんどは、タスクの精度を向上させるための効率的なクロスモーダルインタラクションモジュールの設計に焦点を当てており、ビジュアルエンコーダーの探求が不足しています。一般的なアプローチは、ResNet、DarkNet、Swin Transformer、ViT などの分類および検出タスクに関して事前トレーニングされた特徴抽出器を使用することです。これらのモデルは、画像のすべての空間位置を走査して、スライディング ウィンドウまたは分割パッチ方式で特徴を抽出します。その計算の複雑さは画像の解像度とともに急速に増加しますが、これは Transformer ベースのモデルでより明らかです。

画像の空間的冗長性の特性により、画像内には情報量の少ない背景領域や参照表現とは無関係な領域が多数存在するため、これらの領域を同様に抽出すると量が増加します。計算の効果はありますが、効果的な特徴抽出には効果がありません。より効率的な方法は、画像領域のテキストの関連性とコンテンツの豊富さを事前に予測し、テキスト関連の前景領域から特徴を完全に抽出し、背景領域から特徴を大まかに抽出することです。領域予測の場合、より直観的な方法は、画像ピラミッドを使用して、ピラミッドの上部の粗粒画像内の背景領域を事前に識別し、その後、高解像度の粒度の細かい前景領域を徐々に追加することです。

上記の分析に基づいて、粗いものから細かいものへの反復知覚フレームワーク ScanFormer を提案しました。これは、画像ピラミッド内のレイヤーごとにスキャンし、低解像度の粗いスケールの画像から開始して、徐々にフィルターで除去します。無関係な参照式/背景領域を削除して計算の無駄を減らし、モデルが前景/タスク関連領域にさらに集中できるようにします。

• 論文タイトル: ScanFormer: Referring Expression Comprehension by Iteratively Scanning
• 論文リンク: https://arxiv.org/pdf/2406.18048

メソッドの紹介

1つ、粗いものから細かいものまでの反復知覚フレームワーク

構造を簡素化するために、テキストと視覚のモダリティを統合する ViLT [1] モデルを採用し、それを深さの次元に沿って 2 つの部分に分割します: Encoder1 と Encoder2 のさまざまなタスク。

まず、テキスト特徴を抽出して KV キャッシュに保存します。次に、画像ピラミッドを構築し、各反復で現在のスケールで選択されたパッチを入力します。それぞれの予測 各パッチに対応する次のスケールのきめの細かいパッチの選択。特に、モデルが粗い画像全体の情報を取得できるようにするために、トップレベルの画像のすべてのパッチが選択されます。 Encoder2 はさらに特徴を抽出し、現在のスケールの [cls] トークンに基づいてそのスケールでの境界ボックスを予測します。

同時に、Encoder1 と Encoder2 の中間機能は、その後のスケールの利用を容易にするために KV キャッシュに保存されます。スケールが大きくなるにつれて、きめ細かい特徴が導入され、位置予測がより正確になる一方で、多くの計算量を節約するために無関係なパッチのほとんどが破棄されます。

さらに、各スケール内のパッチには双方向の注意があり、前のスケールのすべてのパッチとテキストの機能に注意が払われます。スケール全体にわたるこの因果関係への注意により、計算要件をさらに削減できます。

2. 動的パッチ選択

各パッチの選択は、前のスケールによって生成された選択係数によって決定されます。 1 つは、アプリケーションの MHSA の各レイヤーに対するものです。ただし、すべてのヘッドの中で、N 層 H ヘッド エンコーダの場合、更新する有効な勾配情報を取得するのが難しいため、学習された 2 番目の選択係数がエンコーダの入力に直接使用されるのは理想的ではありません。つまり、パッチの埋め込みはこの 1 つの位置でのみ使用されるため、学習が容易であり、この解決策が最終的にこの記事で採用されました。

さらに、入力パッチのエンベディングが 0 に設定されている場合でも、MHSA と FFN の存在により、後続のレイヤーのパッチの特性は依然として非 0 になり、残りのパッチの特徴。幸いなことに、トークン シーケンスに同一のトークンが多数ある場合、MHSA の計算を簡素化し、実際の推論の高速化を実現できます。さらに、モデルの柔軟性を高めるために、この記事ではパッチの埋め込みを直接 0 に設定せず、学習可能な定数トークンに置き換えます。

したがって、パッチ選択問題はパッチ置換問題に変換されます。パッチ選択のプロセスは、定数トークンの置換とトークンのマージの 2 つのステップに分解できます。選択されていないパッチは、同じ定数トークンに置き換えられます。これらの選択されていないトークンは同じであるため、スケーリングされたドット積アテンションの計算方法に従って、これらのトークンを 1 つのトークンに結合し、合計数を乗算することができます。これは、次元に加算することと同等であるため、ドット積アテンション方法は次のようになります。変更はなく、一般的な加速方法は引き続き使用できます。

実験結果

このメソッドは、RefCOCO、RefCOCO+、RefCOCOg、ReferItGame の 4 つのデータセットで最先端と同様のパフォーマンスを達成します。大規模なデータセットで事前トレーニングし、特定のデータセットで微調整することにより、モデルのパフォーマンスがさらに大幅に向上し、MDETR [2] や OFA [3] などの事前トレーニングされたモデルと同様の結果を達成できます。

推論速度の点では、提案手法は高いタスク精度を確保しながらリアルタイム推論速度を実現します。

Darüber hinaus wurden im experimentellen Teil auch Statistiken zur Patchauswahl des Modells und zur Verteilung der Positionierungsgenauigkeit auf jeder Skala (Skala1 und Skala2) erstellt.

Wie im Bild links gezeigt, werden mit zunehmendem Maßstab feinkörnige Bildmerkmale hinzugefügt und die Modellgenauigkeit verbessert sich allmählich. Daher können Sie versuchen, einen Mechanismus zum vorzeitigen Beenden hinzuzufügen, um rechtzeitig zu beenden, wenn die Positionierungsgenauigkeit den Anforderungen entspricht, wodurch weitere Berechnungen für hochauflösende Bilder vermieden werden und der Effekt einer adaptiven Auswahl einer geeigneten Auflösung basierend auf Proben erzielt wird. In diesem Artikel wurden auch einige vorläufige Versuche unternommen, darunter das Hinzufügen von Vorhersagezweigen wie IoU, GIoU und Unsicherheit sowie die Rückgabe von Frühausstiegsindikatoren. Es wurde jedoch festgestellt, dass der Effekt nicht ideal war, wie es sein muss, geeignete und genaue Frühausstiegsindikatoren zu entwerfen weiter erforscht.

Das Bild rechts zeigt die Patch-Auswahlsituation in verschiedenen Maßstäben. In allen Maßstäben sind die ausgewählten Patches relativ klein und die meisten Patches können eliminiert werden, sodass Rechenressourcen effektiv eingespart werden können. Für jedes Beispiel (Bild + Referenzausdruck) ist die Anzahl der tatsächlich ausgewählten Patches relativ gering, vielleicht 65 % der Gesamtzahl.

Abschließend zeigt der experimentelle Teil einige Visualisierungsergebnisse. Mit zunehmendem Maßstab (Rot → Grün → Blau) verbessert sich die Positionierungsgenauigkeit des Modells allmählich. Darüber hinaus ist anhand des aus dem ausgewählten Patch rekonstruierten Bild ersichtlich, dass das Modell nur auf grobskalige Informationen für den Hintergrundbereich achtet, während das Modell für den relevanten Vordergrundbereich auf feinkörnige Details achten kann Information.

^{Verwandte Literatur:}

^{[1].Kim W, Son B, Kim I. Vilt: Vision-and-Language Transformer without Convolution or Region Supervision [C]//Internationale Konferenz über maschinelles Lernen. PMLR, 2021: 5583-5594.}

^{[2].Kamath A, Singh M, LeCun Y, et al. Mdetr-modulierte Erkennung für ein durchgängiges multimodales Verständnis [C]//Proceedings of the Internationale IEEE/CVF-Konferenz zum Thema Computer Vision.}

^{[3].Wang P, Yang A, Men R, et al -Sequence Learning Framework [C]//Internationale Konferenz zum maschinellen Lernen, 2022: 23318-23340.}

以上が浙江大学 Li Xi のチーム: 表現の理解を参照するための新しい方法、ScanFormer は粗いものから細かいものまで繰り返し、視覚的な冗長性を排除しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。