AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
本文主要作者来自 LMMs-Lab 团队与新加坡南洋理工大学。共同一作中,张培源是南洋理工大学研究助理,张恺宸是南洋理工大学四年级本科生,李博为南洋理工大学三年级博士生,指导教师为 MMLab@NTU 刘子纬教授。LMMs-Lab 是一个由学生、研究人员和教师组成的团队,致力于多模态模型的研究,主要研究方向包括多模态模型的训练与全面评估,此前的工作包括多模态测评框架 lmms-eval 等。
为什么说理解长视频难如 “大海捞针”?
现有的 LMMs 在处理长视频时面临的一个主要挑战是视觉 token 数量过多。比如,LLaVA-1.6 对单张图片就能生成 576 到 2880 个视觉 token。视频帧数越多,token 数量也就更多。虽然 BLIP2,LLaMA-VID, Chat-UniVI 等工作 通过改动 ViT 和语言模型之间的连接层来减少视觉 token 数量,但仍然不能处理特别多的帧数。
此外,缺乏高质量的长视频数据集也是一大瓶颈。现有训练数据集大多是 1 分钟内的短视频,即使有长视频,标注的文本对仅限于视频的几个帧,缺乏密集的监督信号。
近日 LMMs-Lab, 南洋理工大学等机构的研究团队推出了 LongVA 长视频模型, 它可以理解超过千帧的视频数据,超越了当前一众开源视频多模态模型的性能!
论文链接:https://arxiv.org/abs/2406.16852
演示地址:https://longva-demo.lmms-lab.com/
代码地址:https://github.com/EvolvingLMMs-Lab/LongVA
作者团队首次在多模态领域提出长上下文迁移(Long Context Transfer),这一技术使得多模态大模型(LMMs)能够在不进行长视频训练的情况下,处理和理解超长视频。他们的新模型 LongVA 能够处理 2000 帧或者超过 20 万个视觉 token, 在视频理解榜单 Video-MME 上实现了 7B 规模的 SoTA。在最新的长视频 MLVU 榜单上, LongVA 更是仅次于 GPT4-o 的最强模型!
LongVA 的作者总结了下面这张图, 可以看到,目前的多模态大模型在长视频理解上还不尽如人意,能够处理的帧数限制了长视频的处理和理解。为了处理更多的帧,LLaMA-VID 等工作不得不急剧压缩单张帧对应的 token 数量。
长上下文迁移
针对处理长视频面临的挑战,研究团队提出了 “长上下文迁移” 这一全新思路。他们认为, 目前长视频大模型的多帧瓶颈不在如如何从 Vision Encoder 抽取压缩的特征上面(下图(a)), 而在于扩展模型的长上下文能力上。
他们发现,通过简单地扩展语言模型的在文字上的上下文长度,他们能成功地将这种能力传递到视觉模态上,而无需进行任何长视频训练。具体做法是,首先通过长文本数据训练语言模型,然后利用短图像数据进行模态对齐。他们发现在这样训练的模型在测试时就可以直接理解多帧的视频, 省去了长视频训练的必要性。
在长语言模型训练过程中,作者团队使用了 Qwen2-7B-Instruct 作为底座,并通过长上下文训练将其文本上下文长度扩展到 224K。训练过程中使用了 FlashAttention-2、Ring Attention、activation checkpoint 和 parameter offload 等多种优化策略,以提高训练效率和内存利用率。
在模态对齐阶段,作者设计了一个名为 “UniRes” 的统一编码方案,用于同时处理图像和视频。UniRes 方案与 LLaVA-1.6 中的 AnyRes 编码方案类似,但去处了 base image 部分,针对每个 grid 分别一维化,并在每个网格内进行了 2x2 特征池化。这种方法确保了在将图像数据扩展到视频时,能够保持一致的表示形式。
LongVA 采用了 “短上下文训练,长上下文测试” 的策略,也就是让模型在模态对齐阶段仅使用图像 - 文本数据进行训练,而在测试直接利用长视频进行处理测试。这种策略有效地展示了长上下文迁移的现象,使得模型能够在未进行长视频训练的情况下,可以获得理解和处理长视频的能力。
LongVA 的超强性能
目前还没有评估 LMMs 长视频视觉上下文长度的基准测试。为了解决这一问题,LongVA 团队将大海捞针测试从文本扩展到视觉,并提出了 Visual Needle-In-A-Haystack (V-NIAH) 基准测试。
在 V-NIAH 测试中,团队设计了 5 个图像问答问题,将每个问题作为单帧插入到数小时的电影中,并以 1 帧 / 秒的频率采样视频作为视觉输入。这些 “针” 的图像来源于现有的视觉问答数据集或 AI 生成的图像,这样是为了确保模型无法仅通过语言知识来回答问题。每个问题都包含一个 “定位提示”,使得正确的系统或人类能够从视频中定位 “针” 帧并回答问题。
V-NIAH 测试结果显示,LongVA 在 2000 帧(每帧 144 个 token)以内的视觉大海捞针测试几乎全对, 在 3000 帧的尺度上也保持了不错的正确率 。有趣的是,和语言模型类似, 他们发现 LongVA 在 V-NIAH 上也存在一定程度的 Lost-In-The-Middle 现象。
在最近腾讯,中科大等机构提出的 Video-MME 榜单上, LongVA 排名第七并且达到了 7B 模型的 SoTA。
https://video-mme.github.io/home_page.html#leaderboard
在智源联合北邮、北大和浙大等多所高校推出的 MLVU 基准测试中, LongVA 更是仅次于 GPT-4o, 位列最强的开源模型。
https://github.com/JUNJIE99/MLVU/
作者团队在论文中也附上了一些效果展示。
更多细节, 感兴趣的读者可以查看原论文。
以上是7B最强长视频模型! LongVA视频理解超千帧,霸榜多个榜单的详细内容。更多信息请关注PHP中文网其他相关文章!