清華大学とその他の大学が、10 近くの最新の透かしアルゴリズムをサポートする初のオープンソースの大規模モデル透かしツールキット MarkLLM を発表

AIxivコラムは、本サイト上で学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メールアドレス: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

この記事は清華大学、上海交通大学、シドニー大学、UCSB、香港中文大学、香港科学大学によって共同で執筆されました。およびテクノロジー、香港科技大学（広州）。主な著者は次のとおりです。Pan Leyi (筆頭著者)、清華大学の学部生、研究の方向性は大規模モデルの透かし入れ、Liu Aiwei、清華大学の博士課程の学生、研究の方向性は安全で信頼できる大規模モデルです。 ; He Zhiwei、上海交通大学博士課程学生、研究の方向性は大型モデルの透かし、大型モデルの知能など。シドニー大学の学部生、Zhao Zuandong の研究方向。 、UCSB 博士課程候補者、研究の方向性は信頼できる生成 AI などです。Hu Xuming、香港科技大学/香港科技 彼は広州大学 (広州) の助教授であり、次のような研究に興味があります。 Wen Lijie は清華大学の常任准教授であり、プロセス マイニングや自然言語処理などの研究に興味を持っています。

この記事では、清華大学と他の大学が共同で立ち上げたオープンソースのモデル印刷アルゴリズムを紹介します。 MarkLLM は、統一モデル印刷アルゴリズム実装フレームワーク、直観的な印刷アルゴリズム メカニズムの視覚化、例、体系的な評価モジュールを提供し、研究者が最新の印刷技術開発を簡単に実験、理解、評価できるようにすることを目的としています。著者はMarkLLMを通じて、モデルプリンティング技術に対する国民の理解を深め、研究者に利便性を提供し、関連研究の発展と推進を促進したいと考えています。

• 理論⽂名前: MarkLLM: LLM ウォーターマーク用のオープンソース ツールキット

• 理論⽂リンク: https://arxiv.org/abs/2405.10051

• コード リポジトリ: https:/ /github.com/THU- BPM/MarkLLM

⼯大型モデル印刷技術の開発状況とまだ直面している問題

⼤大型モデル印刷は、モデル内でモデルを作成するために使用できる最近登場した技術です。 . オーガニック テキストの識別とソース追跡を実現するために、このプロセスに特定の機能が埋め込まれます。フェイク ニュースの検出、学術的完全性の維持、データとモデルの著作権保護などのシナリオで使用できます。

⽬現在の主流の大規模モデル インプリンティング アルゴリズムは、大規模モデルの推論段階でインプリントを注入することです。このタイプの方法は主に 2 つの主要なアルゴリズム ファミリに分かれています:

• KGW ファミリ: 事前スコアリング ベクトルによって追加されます。印刷し、単語リストを赤と緑のリストに分割し、出力が緑の単語を優先するように、緑の単語にバイアスを追加します。ウォーターマークテキストを乱数とより関連性のあるものにして、ウォーターマークを埋め込みます。

• しかし、すべての新興技術と同様に、中国モデルの透かし技術も使用と理解においていくつかの課題に直面しています。

1. さまざまな大規模モデルの透かしアルゴリズムを簡単に使用して透かしを追加および検出するにはどうすればよいですか?

さまざまな大規模モデルの透かしアルゴリズムが常に出現しています。ただし、その実装はほとんどが作成者自身のニーズに基づいており、統一されたクラスと呼び出しインターフェイスの設計が欠けているため、研究者や一般の人々はこれらのアルゴリズムの使用と再現に多大な労力を費やす必要があります。

2. 各大規模モデルの透かしアルゴリズムの内部メカニズムを直感的に理解するにはどうすればよいですか?

⼼大規模モデルの透かしアルゴリズムの基礎となるメカニズムは比較的複雑で、大規模モデルのテキスト生成プロセスにスコアリング ベクトルの生成とサンプリング プロセスが介入するため、研究者や一般の人々にとって理解するのは容易ではありません。

3. さまざまな大規模モデルの透かしアルゴリズムを簡単かつ包括的に評価するにはどうすればよいですか?

評価の観点と指標は多様であり (検出可能性、堅牢性、テキスト品質への影響など)、1 つの評価に複数のステップが含まれるため、アルゴリズムのパフォーマンスを包括的かつ迅速に評価することは非常に困難です。

MarkLLM: 初のオープンソース大規模モデルウォータープリンティング多機能ツールパッケージ

上記の 3 つの問題に対応して、著者は大規模言語モデルウォータープリンティング技術用のツールパッケージ MarkLLM を設計および実装しました。 MarkLLM の主な貢献は次のように要約できます:

1. 機能的に統合された大規模モデル印刷アルゴリズム実装フレームワーク: 2 つの主要な印刷アルゴリズム ファミリ (KGW ファミリと Christ ファミリ) 9 つの特定のアルゴリズムをサポートします。

⼼一貫したユーザーフレンドリーなトップレベルの呼び出しインターフェイス: ウォーターマークの追加やウォーターマークの検出などのさまざまな操作を実装するための 1 行のコード。

• カスタマイズされた大型モデルウォーターインプリンティングアルゴリズムメカニズムの可視化ソリューション: ユーザーは、さまざまな構成の下で、さまざまな大型モデルウォーターインプリンティングアルゴリズムの内部メカニズムを視覚化できます。

• 包括的かつ体系的な大規模モデル印刷アルゴリズム評価モジュール: 3 つの評価角度をカバーする合計 12 の評価ツールと 2 種類の自動評価パイプラインが含まれます。

2. 設計学位: 非常に優れた拡張性と柔軟性を備えた、モジュール式の疎結合アーキテクチャ設計。

3. 実験的側面: 著者は MarkLLM を研究ツールとして使用し、サポートされている 9 つのアルゴリズムについて評価の観点から 3 つの包括的な実験を実施し、その後の研究の基礎を提供しました。参照。

4. オープンソース コミュニティへの影響⼒: MarkLLM は、GitHub で公開されて以来、多くの注目を集めており、プル リクエストを通じてコードを提供する仲間を集めています。問題欄でコミュニケーションやディスカッションを行ってください。

著者は、MarkLLM ツールキットが研究者に利便性を提供するだけでなく、大規模言語モデルの透かし技術に対する一般の理解と参加を向上させ、学術コミュニティと一般の人々の間の合意形成を促進することを心から願っています。テクノロジーに関する研究を推進し、大規模言語モデルのウォーターマークの研究と応用のさらなる発展を促進し、大規模言語モデルの安全な使用に貢献します。

著者は、貴重な意見を提供し、交換し、互いに学び合う皆さんを心から歓迎します。また、皆さんの共同の努力を通じてより良い大規模モデルの透かし技術エコシステムを維持するために、プル リクエストを通じたコードの貢献も歓迎します。

以上が清華大学とその他の大学が、10 近くの最新の透かしアルゴリズムをサポートする初のオープンソースの大規模モデル透かしツールキット MarkLLM を発表の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。