在去年4月，威斯康辛大學麥迪遜分校、微軟研究院和哥倫比亞大學的研究者們共同發布了LLaVA（Large Language and Vision Assistant）。儘管LLaVA只是用一個小的多模態指令資料集進行訓練，但在一些樣本上展現了與GPT-4非常相似的推理結果。然後在10月，他們推出了LLaVA-1.5，透過對原始LLaVA進行簡單修改，在11個基準測試中刷新了SOTA。這次升級的結果非常令人振奮，為多模態AI助理領域帶來了新的突破。
研究團隊宣布推出LLaVA-1.6版本，針對推理、OCR和世界知識的表現進行了主要改進。這版的LLaVA-1.6在多個基準測試中甚至超越了Gemini Pro。
與LLaVA-1.5 相比，LLaVA-1.6 有以下幾個改進：
圖來源：https://twitter.com/imhaotian/status/1752621754273472927
LLaVA-1.6 是在LLaVA-1.5 的基礎上進行了微調和最佳化。它保留了 LLaVA-1.5 的簡潔設計和高效資料處理能力，並繼續使用少於1M的視覺指令調優樣本。透過使用32個A100顯示卡，最大的34B模型在大約1天內完成了訓練。此外，LLaVA-1.6利用了130萬個資料樣本，其計算/訓練資料成本僅為其他方法的100-1000分之一。這些改進使得LLaVA-1.6成為更有效率和經濟實惠的版本。
與 CogVLM 或 Yi-VL 等開源 LMM 相比，LLaVA-1.6 實現了 SOTA 效能。與商用產品相比，LLaVA-1.6 在選定的基準測試中可以媲美 Gemini Pro，並且優於 Qwen-VL-Plus。
值得一提的是，LLaVA-1.6 展現出強大的零樣本（zero-shot）中文能力，它在多模態基準MMBench-CN 上取得了SOTA 性能。
動態高解析度
##研究團隊以高解析度設計LLaVA-1.6 模型，旨在維持其數據效率。當提供高解析度影像和保留細節的特性時，模型感知影像中複雜細節的能力會顯著提高。它減少了面對低解析度影像時的模型幻覺，也就是猜測想像的視覺內容。
資料混合
高品質的用戶指令數據。 該研究對高品質視覺指令遵循資料的定義取決於兩個主要標準：首先，任務指令的多樣性，確保充分代表現實場景中可能遇到的廣泛使用者意圖，特別是在模型部署階段。其次，回應的優先順序至關重要，旨在徵求有利的用戶回饋。
因此，研究考慮了兩個資料來源：
#現有的GPT-V 資料（LAION-GPT-V 和ShareGPT -4V）；
為了進一步促進更多場景下更好的視覺對話，研究團隊收集了一個涵蓋不同應用的小型15K 視覺指令調優資料集，仔細過濾了可能存在隱私問題或可能有害的樣本，並使用GPT-4V 產生響應。
多模態文件 / 圖表資料。 (1) 從訓練資料中刪除 TextCap，因為研究團隊意識到 TextCap 使用與 TextVQA 相同的訓練影像集。這使得研究團隊能夠在評估 TextVQA 時更了解模型的零樣本 OCR 能力。為了維持並進一步提高模型的 OCR 能力，該研究以 DocVQA 和 SynDog-EN 取代了 TextCap。 (2) 借助 Qwen-VL-7B-Chat，研究進一步添加了 ChartQA、DVQA 和 AI2D，以便更好地理解圖表和圖表。
研究團隊也表示除了Vicuna-1.5（7B 和13B），也考慮採用更多LLM 方案，包括Mistral-7B 和Nous-Hermes-2-Yi-34B，以使LLaVA 能夠支援更廣泛的用戶和更多的場景。
以上是追趕Gemini Pro，提升推理、OCR能力的LLaVA-1.6太強了的詳細內容。更多資訊請關注PHP中文網其他相關文章！
