Fügen Sie dem Videomodell schnelle und langsame Augen hinzu, Apples neue trainingsfreie Methode übertrifft alles, was SOTA in Sekundenschnelle leistet

Seit der Veröffentlichung von Sora ist der Bereich der KI-Videogenerierung „geschäftiger“ geworden. In den letzten Monaten haben wir erlebt, wie Jimeng, Runway Gen-3, Luma AI und Kuaishou Keling abwechselnd explodierten.

Im Gegensatz zu den früheren Modellen, die auf den ersten Blick als KI-generiert identifiziert werden können, ist diese Reihe großer Videomodelle möglicherweise die „besten“, die wir je gesehen haben.

Hinter der erstaunlichen Leistung des Video Large Language Model (LLM) steckt jedoch ein riesiger und fein annotierter Videodatensatz, der sehr hohe Kosten erfordert. In jüngster Zeit sind im Forschungsbereich eine Reihe innovativer Methoden aufgetaucht, die kein zusätzliches Training erfordern: Verwenden Sie trainierte Bild-Großsprachmodelle, um Videoaufgaben direkt zu verarbeiten und so den „teuren“ Trainingsprozess zu umgehen.

Darüber hinaus haben die meisten vorhandenen Video-LLMs zwei große Nachteile: (1) Sie können Videoeingaben nur mit einer begrenzten Anzahl von Bildern verarbeiten, was es für das Modell schwierig macht, die subtilen räumlichen und zeitlichen Inhalte zu erfassen das Video; (2) es fehlt ihnen das zeitliche Modellierungsdesign, sondern sie geben einfach Videofunktionen in LLM ein und verlassen sich vollständig auf die Fähigkeit von LLM, Bewegung zu modellieren.

Als Reaktion auf die oben genannten Probleme schlugen Apple-Forscher SlowFast-LLaVA (kurz SF-LLaVA) vor. Dieses Modell basiert auf der vom Byte-Team entwickelten LLaVA-NeXT-Architektur. Es erfordert keine zusätzliche Feinabstimmung und kann sofort verwendet werden. Inspiriert durch das erfolgreiche Two-Stream-Netzwerk im Bereich der Aktionserkennung entwarf das Forschungsteam einen neuartigen SlowFast-Eingabemechanismus für Video-LLM.

Einfach ausgedrückt: SF-LLaVA erkennt die Details und Bewegungen im Video durch zwei verschiedene Beobachtungsgeschwindigkeiten (langsam und schnell).

• Langsamer Pfad: Features mit niedrigen Bildraten extrahieren und dabei so viele räumliche Details wie möglich beibehalten (z. B. 24×24 Token alle 8 Bilder beibehalten)
• Schneller Pfad: Mit hohen Bildraten ausführen, aber verwenden eine größere räumliche Pooling-Schrittgröße, um die Auflösung des Videos zu reduzieren, um einen größeren zeitlichen Kontext zu simulieren und sich mehr auf das Verständnis der Kohärenz von Aktionen zu konzentrieren. Dies entspricht dem Modell mit zwei „Augen“: einem. Schauen Sie einfach hin langsam und auf die Details achten; die andere besteht darin, schnell zu schauen und auf die Bewegungen zu achten. Dies löst die Schwachstellen der meisten vorhandenen Video-LLMs und kann sowohl detaillierte räumliche Semantik als auch längere zeitliche Kontexte erfassen.

Link zum Papier: https://arxiv.org/pdf/2407.15841

Experimentelle Ergebnisse zeigen, dass SF-LLaVA bestehende trainingsfreie Methoden durch signifikante Vorteile in allen Benchmark-Tests übertrifft. Im Vergleich zu sorgfältig abgestimmten SFT-Modellen erreicht SF-LLaVA die gleiche Leistung oder sogar eine bessere.

Modellarchitektur

Wie in der Abbildung unten gezeigt, folgt SF-LLaVA dem standardmäßigen schulungsfreien Video-LLM-Prozess. Es nimmt ein Video V und eine Frage Q als Eingabe und gibt die entsprechende Antwort A aus.

Für die Eingabe werden N Frames gleichmäßig aus jedem Video beliebiger Größe und Länge abgetastet, I = {I_1, I_2, ..., I_N}, und es ist keine spezielle Kombination oder Anordnung der ausgewählten Videoframes erforderlich. Das unabhängig extrahierte Frequenzmerkmal in der Rahmeneinheit ist F_v ∈ R^N×H×W, wobei H und W die Höhe bzw. Breite des Rahmenmerkmals sind.

Der nächste Schritt besteht darin, F_v sowohl im langsamen als auch im schnellen Pfad weiter zu verarbeiten und sie zu einer effektiven Videodarstellung zu kombinieren. Der langsame Pfad tastet gleichmäßig die Rahmenmerkmale von von F_v ab, wobei .

Frühere Untersuchungen haben ergeben, dass eine geeignete Bündelung in der räumlichen Dimension die Effizienz und Robustheit der Videogenerierung verbessern kann. Daher wandte das Forschungsteam einen Pooling-Prozess mit einer Schrittgröße von σ_h×σ_w auf F_v an, um das endgültige Merkmal zu erhalten: , wobei , . Der gesamte Prozess des langsamen Pfades ist in Gleichung 2 dargestellt.

Der schnelle Pfad behält alle Bildfunktionen in F_v bei, um so viel wie möglich vom zeitlichen Langzeitkontext des Videos zu erfassen. Konkret verwendet das Forschungsteam eine räumliche Pooling-Schrittweite , um F_v aggressiv herunterzurechnen, um das endgültige Merkmal zu erhalten. Das Forschungsteam hat , so eingerichtet, dass sich der schnelle Pfad auf die Simulation von zeitlichem Kontext und Bewegungshinweisen konzentrieren kann. Der gesamte Prozess des langsamen Pfades ist in Gleichung 3 dargestellt.

Abschließend werden die aggregierten Videofunktionen erhalten: , wobei flat und [, ] die Reduzierungs- bzw. Verkettungsoperationen darstellen. Wie der Ausdruck zeigt, erfordert kein spezielles Token, um langsame und schnelle Pfade zu trennen. SF-LLaVA verwendet insgesamt Video-Tokens. Die visuellen Merkmale des Videos werden mit Textinformationen (z. B. von Benutzern gestellten Fragen) kombiniert und als Eingabedaten zur Verarbeitung an ein großes Sprachmodell (LLM) gesendet.

SlowFast-Prozess ist in Gleichung 4 dargestellt.

Hasil eksperimen

Pasukan penyelidik menjalankan penilaian prestasi komprehensif SF-LLaVA, membandingkannya dengan model tanpa latihan SOTA semasa (seperti IG-VLM dan LLoVi) dalam berbilang tugasan menjawab soalan video. Selain itu, mereka membandingkannya dengan LLM video seperti VideoLLaVA dan PLLaVA yang diselia dengan penalaan halus (SFT) pada set data video.

Menjawab Soalan Video Terbuka

Seperti yang ditunjukkan dalam jadual di bawah, dalam tugas menjawab soalan video terbuka, SF-LLaVA berprestasi lebih baik daripada kaedah tanpa latihan sedia ada dalam semua penanda aras. Khususnya, apabila dilengkapi dengan LLM bersaiz parameter 7B dan 34B, SF-LLaVA adalah 2.1% dan 5.0% lebih tinggi daripada IGVLM pada MSRVTT-QA, 5.7% dan 1.5% lebih tinggi pada TGIF-QA, dan 1.5% lebih tinggi pada ActivityNet. 2.0% dan 0.8% lebih tinggi pada QA.

Walaupun dibandingkan dengan kaedah SFT yang diperhalusi, SF-LLaVA menunjukkan prestasi yang setanding dalam kebanyakan penanda aras, hanya pada penanda aras ActivityNet-QA, PLLaVA dan LLaVA-NeXT-VideoDPO sedikit mengatasi prestasi Satu cip.

Soal Jawab Video Aneka Pilihan

Seperti yang dapat dilihat daripada jadual di bawah, SF-LLaVA mengatasi kaedah tanpa latihan lain dalam Soal Jawab video pilihan berbilang dalam semua penanda aras. Dalam set data EgoSchema, yang memerlukan penaakulan jangka panjang yang kompleks, versi SF-LLaVA7B dan 34B masing-masing mendapat skor 11.4% dan 2.2% lebih tinggi daripada model IG-VLM.

Sementara VideoTree mendahului dalam penanda aras kerana ia adalah model proprietari berdasarkan GPT-4, prestasinya jauh lebih tinggi daripada LLM sumber terbuka. Model SF-LLaVA 34B juga mencapai hasil yang lebih baik pada EgoSchema berbanding kaedah SFT, yang mengesahkan kuasa reka bentuk SlowFast dalam mengendalikan video panjang.

Penjanaan Teks

文生视频

Seperti yang ditunjukkan dalam Jadual 3, untuk tugasan penjanaan teks video juga menunjukkan beberapa kelebihan.VA, SF-LLa SF-LLaVA-34B melebihi semua penanda aras tanpa latihan dalam prestasi keseluruhan. Walaupun dari segi orientasi perincian, SF-LLaVA adalah lebih rendah sedikit daripada LLaVA-NeXT-Image. Berdasarkan reka bentuk SlowFast, SF-LLaVA boleh merangkumi konteks temporal yang lebih panjang dengan token visual yang lebih sedikit, dan oleh itu berfungsi dengan baik dalam tugas pemahaman temporal.

Selain itu, SF-LLaVA-34B juga mengatasi kebanyakan kaedah SFT dari segi prestasi video Vincent.

Untuk butiran lanjut, sila rujuk kertas asal.

Das obige ist der detaillierte Inhalt vonFügen Sie dem Videomodell schnelle und langsame Augen hinzu, Apples neue trainingsfreie Methode übertrifft alles, was SOTA in Sekundenschnelle leistet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!