Die AIxiv-Kolumne ist eine Kolumne, in der akademische und technische Inhalte auf dieser Website veröffentlicht werden. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail-Adresse für die Einreichung: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com Das Team beschäftigt sich seit langem mit den aktuellen Engpassproblemen in der Entwicklung künstlicher Intelligenz, erforscht ursprüngliche Theorien und Schlüsseltechnologien der künstlichen Intelligenz und ist international führend in der Forschung zu kontradiktorischen Sicherheitstheorien und Methoden intelligenter Algorithmen. Es wurden auch eingehende Untersuchungen zur kontradiktorischen Robustheit und Wirksamkeit von Deep Learning durchgeführt. Grundlegende häufige Probleme wie die Effizienz der Datennutzung. Relevante Arbeiten gewannen den ersten Preis des Wu Wenjun Artificial Intelligence Natural Science Award, veröffentlichten mehr als 100 CCF-Klasse-A-Artikel und entwickelten die Open-Source-Plattform für Gegenangriffsangriffe und Verteidigungsalgorithmen ARES (https://github.com/thu-ml/ares). und einige patentierte Produkte realisiert. Lernen und Forschung in die praktische Anwendung umsetzen.
Multimodale große Sprachmodelle (MLLMs), die durch GPT-4o repräsentiert werden, haben aufgrund ihrer hervorragenden Leistung in mehreren Modalitäten wie Sprache und Bildern viel Aufmerksamkeit erregt. Sie sind nicht nur zu den rechten Assistenten des Anwenders bei der täglichen Arbeit geworden, sondern sind auch nach und nach in wichtige Anwendungsbereiche wie autonomes Fahren und medizinische Diagnose vorgedrungen und haben eine technologische Revolution ausgelöst.
Sind multimodale Großmodelle jedoch sicher und zuverlässig?
Wie in Abbildung 1 gezeigt, wird GPT-4o durch die Modifizierung der Bildpixel durch gegnerische Angriffe die Schwanzlöwenstatue fälschlicherweise als Eiffelturm in Paris oder Big Ben in London identifiziert . Der Inhalt solcher Fehlerziele kann beliebig angepasst werden, auch über die sicheren Grenzen der Modellanwendung hinaus.
而在越獄攻擊場景下，雖然Claude成功拒絕了文字形式下的惡意請求，但當使用者額外輸入一張純色無關圖片時，模型按照使用者要求輸出了虛假新聞。這意味著多模態大模型相比大語言模型，有更多的風險挑戰。 除了這兩個例子以外，多模態大模型還存在幻覺、偏見、隱私洩漏等各類安全威脅或社會風險，會嚴重影響它們在實際應用中的可靠性和可信度。這些漏洞問題到底是偶然發生，還是普遍存在？不同多模態大模型的可信性又有何區別，來源何處？ 近日，來自清華、北航、上交和瑞萊智慧的研究人員聯合撰寫百頁長文，發布名為MultiTrust的綜合基準，首次從多個維度和視角全面評估了主流多模態大模型的可信度，展示了其中多個潛在安全風險，啟發多模態大模型的下一步發展。
- 論文標題：Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study
- 論文連結：https://arxiviv.org/pdf/17507575072037250302330203023023030373字：標. multi-trust.github.io/
- 程式碼倉庫：https://github.com/thu-ml/MMTrustEval
- 程式碼倉庫：https://github.com/thu-ml/MMTrustEval
的大模型評估工作中，MultiTrust提煉出了五個可信評價維度－事實性（Truthfulness）、安全性（Safety）、穩健性（Robustness）、公平性（Fairness）、隱私保護（Privacy），並進行二級分類，有針對性地建構了任務、指標、資料集來提供全面的評估。
個可信評價子維度，MultiTrust建構了32個多樣的任務場景，涵蓋了判別和生成任務，跨越了純文本任務和多模態任務。任務對應的資料集不僅基於公開的文字或影像資料集進行改造和適配，還透過人工收集或演算法合成建構了部分更為複雜和具有挑戰性的資料。 
與大語言模型（LLMs）的可信評價不同，MLLM的多模態特徵帶來了更多樣化、更複雜的風險場景和可能。為了更好地進行系統性評估，MultiTrust基準不僅從傳統的行為評估維度出發，更創新地引入了多模態風險和跨模態影響這兩個評價視角，全面涵蓋新模態帶來的新問題新挑戰。 具體地，多模態風險指的是多模態場景中帶來的新風險，例如模型在處理視覺誤導訊息時可能出現的錯誤回答，以及在涉及安全問題的多模態推理中出現誤判。儘管模型可以正確識別圖中的酒水，但在進一步的推理中，部分模型並不能意識到其與頭孢藥物共用的潛在風險。 
跨模态影响则指新模态的加入对原有模态可信度的影响，例如无关图像的输入可能会改变大语言模型骨干网络在纯文本场景中的可信行为，导致更多不可预测的安全风险。在大语言模型可信性评估常用的越狱攻击和上下文隐私泄漏任务中，如果提供给模型一张与文本无关的图片，原本的安全行为就可能被破坏（如图2）。研究人员维护了一个定期更新的多模态大模型可信度榜单，已经加入了GPT-4o、Claude3.5等最新的模型，整体来看，闭源商用模型相比主流开源模型更为安全可靠。其中，OpenAI的GPT-4和Anthropic的Claude的可信性排名最靠前，而加入安全对齐的Microsoft Phi-3则在开源模型中排名最高，但仍与闭源模型有一定的差距。GPT-4、Claude、Gemini等商用模型针对安全可信已经做过许多加固技术，但仍然存在部分安全可信风险。例如，他们仍然对对抗攻击、多模态越狱攻击等展现出了脆弱性，极大地干扰了用户的使用体验和信任程度。尽管许多开源模型在主流通用榜单上的分数已经与GPT-4相当甚至更优，但在可信层面的测试中，这些模型还是展现出了不同方面的弱点和漏洞。例如在训练阶段对通用能力（如OCR）的重视，使得将越狱文本、敏感信息嵌入图像输入成为更具威胁的风险来源。基于跨模态影响的实验结果，作者发现多模态训练和推理会削弱大语言模型的安全对齐机制。许多多模态大模型会采用对齐过的大语言模型作为骨干网络，并在多模态训练过程中进行微调。结果表明，这些模型依然展现出较大的安全漏洞和可信风险。同时，在多个纯文本的可信评估任务上，在推理时引入图像也会对模型的可信行为带去影响和干扰。
図 10 で画像が導入された後、モデルはテキスト内のプライバシー コンテンツを漏洩する傾向が強くなります。実験により、マルチモードおよび大規模モデルの信頼性はその普遍的な能力に関連していることが示されましたが、まだ違いがあります。さまざまな信頼性評価次元でのモデルのパフォーマンスに影響を与えます。 GPT-4V や幻覚用の RLHF などの助けを借りて生成された微調整データセットなど、現在一般的なマルチモーダル大規模モデル関連アルゴリズムは、モデルの信頼性を完全に高めるには十分ではありません。既存の結論は、マルチモーダル大規模モデルには大規模言語モデルとは異なる固有の課題があり、さらなる改善には革新的で効率的なアルゴリズムが必要であることも示しています。 詳細な結果と分析については論文を参照してください。 将来の方向性 研究結果は、マルチモーダル大規模モデルの信頼性を向上させるには研究者による特別な注意が必要であることを示しています。大規模な言語モデルの調整ソリューション、多様なトレーニング データとシナリオ、検索拡張生成 (RAG) や憲法 AI (Constitutional AI) などのパラダイムを活用することで、ある程度の改善に役立ちます。しかし、マルチモーダル大規模モデルの信頼性の向上は、これを超えて、モダリティ間の調整とビジュアル エンコーダーの堅牢性も重要な影響を与える要素です。さらに、動的環境における継続的な評価と最適化を通じて、実際のアプリケーションにおけるモデルのパフォーマンスを向上させることも、将来の重要な方向性です。 MultiTrust ベンチマークのリリースに伴い、研究チームはマルチモーダル大規模モデルの信頼性評価ツールキット MMTrustEval もリリースしました。そのモデルの統合と評価モジュール性の特性は、マルチモーダル大規模モデルの信頼性研究に重要な情報を提供します。 。この研究とツールキットに基づいて、チームは大規模モデルの信頼できる研究を促進するために、マルチモーダル大規模モデルのセキュリティ関連データとアルゴリズムのコンテストを組織しました [1,2]。将来的には、技術の継続的な進歩に伴い、マルチモーダル大型モデルはより多くの分野でその可能性を発揮するでしょうが、その信頼性の問題には依然として継続的な注意と詳細な研究が必要です。
[1] CCDM2024 Multimodal Large Language Model Red Team Security Challenge http://116.112.3.114:8081/sfds-v1-html/main [2] 第3回鷲州アルゴリズムコンテスト - マルチモーダル大規模モデルアルゴリズムセキュリティ強化技術 https://iacc.pazhoulab-huangpu.com/contestdetail?id=668de7357ff47da8cc88c7b8&award=1,000,000以上が清華大学が率先してマルチモーダル評価のリリース MultiTrust: GPT-4 はどの程度信頼性がありますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
