最初の Mamba ベースの MLLM が登場しました!モデルの重み、トレーニング コードなどはすべてオープンソースです

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com。

はじめに

近年、さまざまな分野でマルチモーダル大規模言語モデル (MLLM) の適用が目覚ましい成功を収めています。ただし、多くの下流タスクの基礎となるモデルとして、現在の MLLM はよく知られた Transformer ネットワークで構成されており、二次計算の複雑さはあまり効率的ではありません。このような基本モデルの効率を向上させるために、多くの実験が次のことを示しています: (1) Cobra は、高い計算効率を備えた現在の最先端の手法 (LLaVA-Phi、TinyLLaVA など) と非常に競争力のあるパフォーマンスを備えています。 MobileVLM v2)、および Cobra 線形シーケンス モデリングにより、より高速です。 (2) 興味深いことに、クローズドセットの挑戦的な予測ベンチマークの結果は、コブラが視覚的な錯覚と空間関係の判断を克服するのに優れたパフォーマンスを発揮していることを示しています。 (3) パラメータ数が LLaVA の約 43% にすぎない場合でも、Cobra は LLaVA と同等のパフォーマンスを達成していることは注目に値します。

大規模言語モデル (LLM) は、言語を介した対話のみに制限されており、より多様なタスクを処理する適応性が制限されています。現実世界の課題に効果的に対処するモデルの能力を強化するには、マルチモーダルな理解が重要です。したがって、研究者は、大規模な言語モデルを拡張して、マルチモーダルな情報処理機能を組み込むことに積極的に取り組んでいます。 GPT-4、LLaMA-Adapter、LLaVA などの視覚言語モデル (VLM) は、LLM の視覚的理解機能を強化するために開発されました。

しかし、以前の研究は主に同様の方法で効率的な VLM を取得することを試みていました。つまり、注意ベースの Transformer 構造を変更せずに、基本言語モデルのパラメータまたはビジュアル トークンの数を削減することです。この論文では、別の視点を提案します。つまり、状態空間モデル (SSM) をバックボーン ネットワークとして直接使用し、線形の計算複雑さを持つ MLLM が得られます。さらに、この論文では、効果的なマルチモーダル Mamba を作成するためのさまざまなモーダル融合スキームを調査および研究します。具体的には、本論文では VLM のベースモデルとして Mamba 言語モデルを採用しており、Transformer 言語モデルと競合する性能を示しながらも推論効率が高くなります。テストの結果、Cobra の推論パフォーマンスは、同じパラメータの大きさの MobileVLM v2 3B および TinyLLaVA 3B よりも 3 倍から 4 倍高速であることが示されています。パラメーター数がはるかに多い LLaVA v1.5 モデル (7B パラメーター) と比較した場合でも、Cobra は約 43% のパラメーター数でいくつかのベンチマークで一致するパフォーマンスを達成しています。

^{。この非効率性に対処するために、この文書では、線形計算複雑性を備えた新しい MLLM である Cobra を紹介します。}

さまざまなモーダル融合スキームを詳しく調べて、Mamba 言語モデルにおける視覚情報と言語情報の統合を最適化します。この論文では、実験を通じてさまざまな融合戦略の有効性を調査し、最も効果的なマルチモーダル表現を生成する方法を決定します。

基礎となる MLLM の計算効率の向上を目的とした並行研究と並行して、Cobra のパフォーマンスを評価するために広範な実験が行われました。特に、Cobra はパラメータが少ない場合でも LLaVA と同等のパフォーマンスを達成し、その効率性を強調しています。

1. • 元のリンク: https://arxiv.org/pdf/2403.14520v2.pdf
   • プロジェクトリンク: https://sites.google.com/view/cobravlm/
   • 論文のタイトル: コブラ:効率的な推論のための Mamba のマルチモーダル大規模言語モデルへの拡張

   
   

   メソッドの紹介

   
   

   モデルアーキテクチャ

   
   

   Cobra は、古典的なビジュアルエンコーダーを使用して 2 つのモデルを接続しますVLMの構造ステートフル プロジェクターと LLM 言語バックボーンで構成されます。 LLM のバックボーン部分は、2.8B パラメーターで事前トレーニングされた Mamba 言語モデルを使用します。これは、600B トークンを使用して SlimPajama データセットで事前トレーニングされ、会話データの指示で微調整されました。网络 Cobra ネットワーク構造図

   

   ^{LLAVA などとは異なり、COBRA は、Dinov2 と SIGLIP フュージョンの視覚的表現を使用します。 2 つのビジュアル コーダーの出力をつなぎ合わせてプロジェクターに供給することで、モデルはより適切にキャプチャできます。 SigLIP によってもたらされる高レベルの意味論的特徴と、DINOv2 によって抽出された低レベルのきめの細かい画像特徴です。}

   
   

   トレーニングスキーム

   
   

   最近の研究では、LLaVAに基づく既存のトレーニングパラダイム（つまり、投影層の事前調整段階とLLMバックボーンの微調整段階を一度だけトレーニングするだけ）について、それぞれ）、事前調整段階は不要な場合があり、微調整されたモデルはまだ適合が不十分である可能性があります。したがって、Cobra は事前調整段階を放棄し、LLM 言語バックボーン全体とプロジェクターを直接微調整します。この微調整プロセスは、以下で構成される結合データセットでランダム サンプリングを使用して 2 つのエポックに対して実行されました:

   
   

   LLaVA v1.5 で使用されるハイブリッド データセット。これには、学術的な会話を含む、合計 655,000 の視覚的なマルチターン会話が含まれます。 VQA サンプル、LLaVA-Instruct のビジュアル命令チューニング データ、ShareGPT のプレーン テキスト命令チューニング データ。

   
   

   LVIS-Instruct-4V。これには、GPT-4V によって生成された視覚的な位置合わせとコンテキスト認識型の命令を備えた 220K の画像が含まれています。

   1. LRV-Instruct は、幻覚現象を軽減することを目的とした、16 の視覚言語タスクをカバーする 400,000 の視覚的指示を含むデータセットです。
   3. データセット全体には、約 120 万枚の画像と、対応する複数ラウンドの会話データ、およびプレーンテキストの会話データが含まれています。

   
   

   実験

   
   

   定量実験

   
   

   実験部分では、この論文は、提案されたCobraモデルとオープンソースSOTA VLMモデルを基本ベンチマーク上で比較し、それを同じ大きさは、Transformer アーキテクチャに基づく VLM モデルの応答速度に基づいています。同時に、グラフの生成速度とパフォーマンスの比較を行います。COBRA は、VQA-V2、GQA、Vizwiz、TextVQA、VSR の 4 つのオープン VQA タスク、POPE 2 つの閉集合予測タスクの場合も同様です。 , 合計6つのベンチマークでスコアを比較しました。ベンチマーク上のマップと他のオープンソース モデルの比較

   
   

   定性テスト

   

   ^{さらに、コブラは、オブジェクトのオブジェクトにおけるコブラを定性的に説明するために 2 つの VQA の例も示しています。空間関係を認識し、模型の錯覚を軽減する能力に優れています。和 図 COBRA とオブジェクトの空間関係の判断における他のベースライン モデル}

   
   

   和 시각적 환상의 예에서 Cobra 및 기타 기본 모델을 그림

   예에서 Llava V1.5 및 Mobilevlm에는 오류 답변이 제공되는 반면 COBRA에는 정확한 설명이 제공되었으며, 특히 두 번째 인스턴스에서는, Cobra는 해당 사진이 로봇의 시뮬레이션 환경에서 나온 것임을 정확하게 식별했습니다.
   

   
   Ablation 실험

   이 기사에서는 성능과 세대 속도라는 두 가지 차원에서 Cobra가 채택한 솔루션에 대한 Ablation 연구를 수행합니다. 실험 계획에서는 프로젝터, 비주얼 인코더 및 LLM 언어 백본에 대해 각각 절제 실험을 수행합니다. 다이어그램 절제 실험의 성능 비교는 프로젝터의 프로젝트 부분에 대한 절제 실험에서 이 기사에서 채택한 MLP 프로젝터의 효과가 LDP에 시각적 토큰 수를 줄이는 데 전념하는 것보다 훨씬 더 우수함을 보여줍니다. 모듈은 컴퓨팅 속도를 향상시키는 동시에 Cobra의 시퀀스 처리 속도와 계산 복잡도가 Transformer보다 우수하므로 LDP 모듈은 생성 속도에 있어서 뚜렷한 이점이 없습니다. 따라서 시각적 토큰 수를 줄이기 위해 Mamba 클래스 모델이 사용됩니다. 정확성을 희생하면 샘플러가 필요하지 않을 수 있습니다.和 생성 속도 비교 범위의 COBRA 및 기타 모델
   

   

   시각적 인코더 부분의 ablation 결과는 Dinov2 기능의 융합이 COBRA의 성능을 효과적으로 향상시키는 것을 보여줍니다. 언어 백본 실험에서 명령어 미세 조정이 없는 Mamba 언어 모델은 공개 질문 및 답변 테스트에서 합리적인 답변을 전혀 제공할 수 없는 반면, 미세 조정된 Mamba 언어 모델은 다양한 작업에서 상당한 성능을 달성할 수 있습니다.

   결론

   
   

   본 논문에서는 2차 계산 복잡도를 갖는 Transformer 네트워크에 의존하는 기존 다중 모달 대규모 언어 모델의 효율성 병목 현상을 해결하는 Cobra를 제안합니다. 이 논문에서는 선형 계산 복잡성과 다중 모드 입력을 갖춘 언어 모델의 조합을 탐구합니다. 시각적 정보와 언어 정보 융합 측면에서 본 논문은 Mamba 언어 모델의 내부 정보 통합을 성공적으로 최적화하고 다양한 모달 융합 방식에 대한 심층적인 연구를 통해 보다 효과적인 다중 모드 표현을 달성합니다. 실험에 따르면 Cobra는 계산 효율성을 크게 향상시킬 뿐만 아니라 특히 시각적 환상을 극복하고 공간적 관계 판단에 있어서 LLaVA와 같은 고급 모델과 성능면에서 비교할 수 있는 것으로 나타났습니다. 심지어 매개변수의 수도 크게 줄어듭니다. 이는 비전 기반 로봇 피드백 제어와 같이 시각적 정보의 고주파 처리가 필요한 환경에서 향후 고성능 AI 모델을 배포할 수 있는 새로운 가능성을 열어줍니다.

以上が最初の Mamba ベースの MLLM が登場しました!モデルの重み、トレーニング コードなどはすべてオープンソースですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。