在多个基准测试中均刷新了业界最好的 zero-shot 性能。
一个统一的模型，可以对不同模态输入内容（文本、图像、视频、音频、IMU 运动传感器数据）实现理解，并生成文本响应，技术基于 Llama 2，来自 Meta。
昨天，多模态大模型 AnyMAL 的研究吸引了 AI 研究社区的关注。
大型语言模型（LLM）以其巨大的规模和复杂性而闻名，它极大地增强了机器理解和表达人类语言的能力。LLM 的进步使视觉语言领域有了显著进步，弥合了图像编码器和 LLM 之间的差距，将它们的推理能力结合起来。先前的多模态 LLM 研究集中在结合文本和另一种模态的模型上，如文本和图像模型，或者集中在非开源的专有语言模型上。
如果有一种更好的方法能够实现多模态功能，将各种模态能够嵌入在LLM中使用，这会给我们带来不同的体验吗？
输出示例
为了解决这个问题，来自Meta的研究人员最近推出了AnyMAL（Any-Modality Augmented Language Model）。这是一个经过训练的多模态编码器集合，可以将来自各种模态（包括图像、视频、音频和IMU运动传感器数据）的数据转换为LLM的文本嵌入空间
论文地址：https://huggingface.co/papers/2309.16058
根据说明，该研究的主要贡献如下所示：
为构建多模态 LLM 提出了一种高效、可扩展的解决方案。本文提供了在大型数据集上预先训练的投影层，这些数据集包含多种模态（例如，2 亿张图像、220 万段音频、50 万 IMU 时间序列、2800 万段视频），所有数据集都与同一个大模型（LLaMA-2- 70B-chat）对齐，从而实现了交错式多模态上下文提示。
本研究使用跨三种模式（图像、视频和音频）的多模态指令集对模型进行了进一步微调，涵盖了简单问答（QA）领域以外的各种不受限制的任务。该数据集包含高质量的人工收集指令数据，因此本研究将其作为复杂多模态推理任务的基准
本文最佳模型在各种任务和模式的自动和人工评估中取得了很好的零误差性能，相较于现有文献中的模型，在 VQAv2 上的相对准确率提高了7.0%，在零误差 COCO 图像字幕上提高了8.4% 的 CIDEr，在 AudioCaps 上提高了14.5% 的 CIDEr，创造了新的 SOTA
方法
方法概览
预训练模态对齐的内容需要进行改写
通过使用配对的多模态数据（包括特定的模态信号和文本叙述），本研究对LLM进行了预训练，以实现多模态理解能力，如图2所示。具体而言，我们为每个模态训练了一个轻量级适配器，将输入信号投射到特定LLM的文本标记嵌入空间中。这样，LLM的文本标记嵌入空间就变成了一个联合的标记嵌入空间，其中标记可以代表文本或其他模态
关于图像对齐的研究，我们使用了LAION-2B数据集的一个干净子集，并采用了CAT方法进行过滤，对任何可检测到的人脸进行了模糊处理。而对于音频对齐的研究，则使用了AudioSet（2.1M）、AudioCaps（46K）和CLOTHO（5K）数据集。此外，我们还使用了Ego4D数据集进行IMU和文本的对齐（528K）
对于大型数据集，要将预训练扩展到70B参数模型需要大量资源，通常需要使用FSDP封装器在多个GPU上对模型进行分片。为了有效地扩展训练规模，本文在多模态设置中实施了量化策略（4位和8位），其中冻结了模型的LLM部分，只有模态tokenizer是可训练的。这种方法将内存需求缩小了一个数量级。因此，70B AnyMAL能够在单个80GB VRAM GPU上就完成训练，batch size为4。与FSDP相比，本文提出的量化方法只使用了GPU资源的一半，却实现了相同的吞吐量
利用多模態指令資料集進行微調的意思是使用多種模態的指令資料集來進行微調
為了進一步提高模型對不同輸入模態的指令跟隨能力，研究利用多模態指令調整（MM-IT）資料集進行了額外的微調。具體來說，我們將輸入連接為 [
]，這樣響應目標就同時以文字指令和模態輸入為基礎。研究對以下兩種情況進行消減：（1）在不改變 LLM 參數的情況下訓練投影層；或（2）使用低階適應（Low-Rank Adaptation）進一步調整 LM 行為。研究同時使用人工收集的指令調整資料集和合成資料。
實驗及結果
圖片標題生成是一種人工智慧技術，用於自動為圖像產生對應的標題。這項技術結合了電腦視覺和自然語言處理的方法，透過分析圖像的內容和特徵，以及對語義和語法的理解，產生與圖像相關的描述性標題。圖像標題生成在許多領域有廣泛的應用，包括圖像搜尋、圖像標註、圖像檢索等。透過自動化產生標題，可以提高圖像的可理解性和搜尋引擎的準確性，為用戶提供更好的圖像檢索和瀏覽體驗
表2 顯示了在COCO 和標有「詳細說明」 任務（MM-IT-Cap）的MM-IT 資料集子集上的零樣本影像字幕產生效能。可以看出， AnyMAL 變異體在這兩個資料集上的表現都明顯優於基線。值得注意的是，AnyMAL-13B 和 AnyMAL-70B 變體的性能沒有明顯差距。這一結果表明，底層 LLM 能力對圖像標題生成是一種人工智慧技術，用於自動為圖像生成相應的標題。這項技術結合了電腦視覺和自然語言處理的方法，透過分析圖像的內容和特徵，以及對語義和語法的理解，產生與圖像相關的描述性標題。圖像標題生成在許多領域有廣泛的應用，包括圖像搜尋、圖像標註、圖像檢索等。透過自動化產生標題，可以提高圖像的可理解性和搜尋引擎的準確性，為用戶提供更好的圖像檢索和瀏覽體驗任務的影響較小，但在很大程度上取決於資料規模和配準方法。
需要進行的重寫是：對多模態推理任務進行人工評估
圖3 顯示，與基準（ LLaVA：34.4% 的勝率和MiniGPT4：27.0% 的勝率）相比，AnyMAL 表現強勁，與人工標註的實際樣本的差距較小（41.1% 的勝率）。值得注意的是，使用完整指令集微調的模型表現出最高的優先勝率，顯示出與人類標註的反應相當的視覺理解和推理能力。另外值得注意的是，BLIP-2 和InstructBLIP 在這些開放式查詢中表現不佳（分別為4.1% 和16.7% 的優先勝出率），儘管它們在公開的VQA 基準測試中表現出色（見表4） 。
VQA 基準
在表4中，我們展示了在Hateful Meme資料集、VQAv2 、TextVQA、ScienceQA、VizWiz和OKVQA上的零樣本性能，並與文獻中報告的各自基準上的零樣本結果進行了比較。我們的研究重點放在零樣本評估上，以便在推理時最準確地估計模型在開放式查詢上的表現
視訊QA 基準
如表6 所示，研究在三個具有挑戰性的視訊QA 基準上對模型進行了評估。
重新產生音訊字幕
#表 5 顯示了 AudioCaps 基準資料集上的重新產生音訊字幕結果。 AnyMAL 的表現明顯優於文獻中其他最先進的音訊字幕模型（例如，CIDEr 10.9pp，SPICE 5.8pp），這表明所提出的方法不僅適用於視覺，也適用於各種模態。與 7B 和 13B 變體相比，文本 70B 模型表現出了明顯的優勢。
有趣的是，根據從AnyMAL論文提交的方式、類型和時間推測，Meta似乎計劃透過其新推出的混合實境/元宇宙頭顯來收集多模態資料。這些研究成果可能會被整合到Meta的元宇宙產品線中，或者很快應用於消費級應用中
更多詳細內容請閱讀原文。
以上是多模態版Llama2上線，Meta發表AnyMAL的詳細內容。更多資訊請關注PHP中文網其他相關文章！
