Die AIxiv-Kolumne ist eine Kolumne, in der akademische und technische Inhalte auf dieser Website veröffentlicht werden. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail-Adresse für die Einreichung: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com Das Team beschäftigt sich seit langem mit den aktuellen Engpassproblemen in der Entwicklung künstlicher Intelligenz, erforscht ursprüngliche Theorien und Schlüsseltechnologien der künstlichen Intelligenz und ist international führend in der Forschung zu kontradiktorischen Sicherheitstheorien und Methoden intelligenter Algorithmen. Es wurden auch eingehende Untersuchungen zur kontradiktorischen Robustheit und Wirksamkeit von Deep Learning durchgeführt. Grundlegende häufige Probleme wie die Effizienz der Datennutzung. Relevante Arbeiten gewannen den ersten Preis des Wu Wenjun Artificial Intelligence Natural Science Award, veröffentlichten mehr als 100 CCF-Klasse-A-Artikel und entwickelten die Open-Source-Plattform für Gegenangriffsangriffe und Verteidigungsalgorithmen ARES (https://github.com/thu-ml/ares). und einige patentierte Produkte realisiert. Lernen und Forschung in die praktische Anwendung umsetzen.
Multimodale große Sprachmodelle (MLLMs), die durch GPT-4o repräsentiert werden, haben aufgrund ihrer hervorragenden Leistung in mehreren Modalitäten wie Sprache und Bildern viel Aufmerksamkeit erregt. Sie sind nicht nur zu den rechten Assistenten des Anwenders bei der täglichen Arbeit geworden, sondern sind auch nach und nach in wichtige Anwendungsbereiche wie autonomes Fahren und medizinische Diagnose vorgedrungen und haben eine technologische Revolution ausgelöst.
Sind multimodale Großmodelle jedoch sicher und zuverlässig?
Wie in Abbildung 1 gezeigt, wird GPT-4o durch die Modifizierung der Bildpixel durch gegnerische Angriffe die Schwanzlöwenstatue fälschlicherweise als Eiffelturm in Paris oder Big Ben in London identifiziert . Der Inhalt solcher Fehlerziele kann beliebig angepasst werden, auch über die sicheren Grenzen der Modellanwendung hinaus.
而在越獄攻擊場景下，雖然Claude成功拒絕了文字形式下的惡意請求，但當使用者額外輸入一張純色無關圖片時，模型按照使用者要求輸出了虛假新聞。這意味著多模態大模型相比大語言模型，有更多的風險挑戰。 除了這兩個例子以外，多模態大模型還存在幻覺、偏見、隱私洩漏等各類安全威脅或社會風險，會嚴重影響它們在實際應用中的可靠性和可信度。這些漏洞問題到底是偶然發生，還是普遍存在？不同多模態大模型的可信性又有何區別，來源何處？ 近日，來自清華、北航、上交和瑞萊智慧的研究人員聯合撰寫百頁長文，發布名為MultiTrust的綜合基準，首次從多個維度和視角全面評估了主流多模態大模型的可信度，展示了其中多個潛在安全風險，啟發多模態大模型的下一步發展。
- 論文標題：Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study
- 論文連結：https://arxiviv.org/pdf/17507575072037250302330203023023030373字：標. multi-trust.github.io/
- 程式碼倉庫：https://github.com/thu-ml/MMTrustEval
- 程式碼倉庫：https://github.com/thu-ml/MMTrustEval
的大模型評估工作中，MultiTrust提煉出了五個可信評價維度－事實性（Truthfulness）、安全性（Safety）、穩健性（Robustness）、公平性（Fairness）、隱私保護（Privacy），並進行二級分類，有針對性地建構了任務、指標、資料集來提供全面的評估。
個可信評價子維度，MultiTrust建構了32個多樣的任務場景，涵蓋了判別和生成任務，跨越了純文本任務和多模態任務。任務對應的資料集不僅基於公開的文字或影像資料集進行改造和適配，還透過人工收集或演算法合成建構了部分更為複雜和具有挑戰性的資料。
與大語言模型（LLMs）的可信評價不同，MLLM的多模態特徵帶來了更多樣化、更複雜的風險場景和可能。為了更好地進行系統性評估，MultiTrust基準不僅從傳統的行為評估維度出發，更創新地引入了多模態風險和跨模態影響這兩個評價視角，全面涵蓋新模態帶來的新問題新挑戰。 具體地，多模態風險指的是多模態場景中帶來的新風險，例如模型在處理視覺誤導訊息時可能出現的錯誤回答，以及在涉及安全問題的多模態推理中出現誤判。儘管模型可以正確識別圖中的酒水，但在進一步的推理中，部分模型並不能意識到其與頭孢藥物共用的潛在風險。 跨模态影响则指新模态的加入对原有模态可信度的影响，例如无关图像的输入可能会改变大语言模型骨干网络在纯文本场景中的可信行为，导致更多不可预测的安全风险。在大语言模型可信性评估常用的越狱攻击和上下文隐私泄漏任务中，如果提供给模型一张与文本无关的图片，原本的安全行为就可能被破坏（如图2）。研究人员维护了一个定期更新的多模态大模型可信度榜单，已经加入了GPT-4o、Claude3.5等最新的模型，整体来看，闭源商用模型相比主流开源模型更为安全可靠。其中，OpenAI的GPT-4和Anthropic的Claude的可信性排名最靠前，而加入安全对齐的Microsoft Phi-3则在开源模型中排名最高，但仍与闭源模型有一定的差距。GPT-4、Claude、Gemini等商用模型针对安全可信已经做过许多加固技术，但仍然存在部分安全可信风险。例如，他们仍然对对抗攻击、多模态越狱攻击等展现出了脆弱性，极大地干扰了用户的使用体验和信任程度。尽管许多开源模型在主流通用榜单上的分数已经与GPT-4相当甚至更优，但在可信层面的测试中，这些模型还是展现出了不同方面的弱点和漏洞。例如在训练阶段对通用能力（如OCR）的重视，使得将越狱文本、敏感信息嵌入图像输入成为更具威胁的风险来源。基于跨模态影响的实验结果，作者发现多模态训练和推理会削弱大语言模型的安全对齐机制。许多多模态大模型会采用对齐过的大语言模型作为骨干网络，并在多模态训练过程中进行微调。结果表明，这些模型依然展现出较大的安全漏洞和可信风险。同时，在多个纯文本的可信评估任务上，在推理时引入图像也会对模型的可信行为带去影响和干扰。
后 Une fois l'image introduite dans la figure 10, le modèle est plus enclin à divulguer le contenu de confidentialité dans le texte. Des expériences ont montré que la crédibilité des modèles multimodes et grands est liée à sa capacité générale, mais il existe encore des différences. dans la performance du modèle dans différentes dimensions d’évaluation de la crédibilité. Les algorithmes multimodaux actuellement courants liés aux grands modèles, tels que le réglage fin des ensembles de données générés à l'aide de GPT-4V, RLHF pour les hallucinations, etc., ne suffisent pas à améliorer pleinement la crédibilité du modèle. Les conclusions existantes montrent également que les grands modèles multimodaux présentent des défis uniques, différents des grands modèles de langage, et que des algorithmes innovants et efficaces sont nécessaires pour une amélioration ultérieure. Voir le document pour les résultats et analyses détaillés. Orientations futuresLes résultats de la recherche indiquent que l'amélioration de la crédibilité des grands modèles multimodaux nécessite une attention particulière de la part des chercheurs. En s'appuyant sur de grandes solutions d'alignement de modèles de langage, des données et des scénarios de formation diversifiés, ainsi que des paradigmes tels que la génération améliorée de récupération (RAG) et l'IA constitutionnelle (IA constitutionnelle), peuvent contribuer à une amélioration dans une certaine mesure. Mais l’amélioration de la crédibilité des grands modèles multimodaux va au-delà. L’alignement entre les modalités et la robustesse des encodeurs visuels sont également des facteurs d’influence clés. En outre, l’amélioration des performances des modèles dans des applications pratiques grâce à une évaluation et une optimisation continues dans des environnements dynamiques constitue également une orientation importante pour l’avenir. Avec la sortie du benchmark MultiTrust, l'équipe de recherche a également publié la boîte à outils d'évaluation de la fiabilité des grands modèles multimodaux MMTrustEval. Ses caractéristiques d'intégration de modèles et de modularité d'évaluation fournissent des informations importantes pour la recherche de crédibilité des grands modèles multimodaux. . Sur la base de ce travail et de cette boîte à outils, l’équipe a organisé un concours multimodal de données et d’algorithmes liés à la sécurité des grands modèles [1,2] pour promouvoir une recherche fiable sur les grands modèles. À l’avenir, avec les progrès technologiques continus, les grands modèles multimodaux montreront leur potentiel dans davantage de domaines, mais la question de leur crédibilité nécessite encore une attention continue et des recherches approfondies.
[1] CCDM2024 Multimodal Large Language Model Red Team Security Challenge http://116.112.3.114:8081/sfds-v1-html/main [2] Le 3ème Concours d'algorithmes de Pazhou - Technologie de renforcement de la sécurité des algorithmes multimodaux à grand modèle https://iacc.pazhoulab-huangpu.com/contestdetail?id=668de7357ff47da8cc88c7b8&award=1,000,000以上是清华领衔发布多模态评估MultiTrust：GPT-4可信度有几何？的详细内容。更多信息请关注PHP中文网其他相关文章！
Wie in Abbildung 1 gezeigt, wird GPT-4o durch die Modifizierung der Bildpixel durch gegnerische Angriffe die Schwanzlöwenstatue fälschlicherweise als Eiffelturm in Paris oder Big Ben in London identifiziert . Der Inhalt solcher Fehlerziele kann beliebig angepasst werden, auch über die sicheren Grenzen der Modellanwendung hinaus. 
