「ChatGPT詐欺」を特定、その効果はOpenAIを超える：北京大学とファーウェイのAI生成検出器が登場

大規模な生成モデルの継続的な進歩により、生成されるコーパスは徐々に人間のそれに近づきつつあります。大型モデルは無数の店員の手を解放していますが、本物を偽造するその強力な能力は一部の犯罪者にも利用され、一連の社会問題を引き起こしています。

##北京大学より, ファーウェイの研究者は、AIによって生成されたさまざまなコーパスを識別するための信頼できるテキスト検出器を提案しました。長文と短文の異なる特性に従って、PU学習に基づくマルチスケールAI生成テキスト検出器トレーニング方法を提案する。検出器のトレーニング プロセスを改善することで、同じ条件下で長文と短文の ChatGPT コーパスの検出能力が大幅に向上し、現在の検出器による短いテキスト認識の精度が低いという問題点が解決されます。

論文アドレス: https://arxiv.org/abs/2305.18149

• コード アドレス (MindSpore): https://github.com/mindspore-lab/mindone/tree/master/examples/detect_chatgpt
• コード アドレス (PyTorch) ：https://github.com/YuchuanTian/AIGC_text_detector
• ##はじめにWith As大規模な言語モデルの生成効果がますます現実的になる中、さまざまな業界が信頼性の高い AI 生成のテキスト検出器を緊急に必要としています。ただし、コーパス検出に対する要件は業界によって異なります。たとえば、学術界では一般に、大規模で完全な学術文書を検出する必要がありますが、ソーシャル プラットフォームでは、比較的短く断片的なフェイク ニュースを検出する必要があります。しかし、既存の検出器ではさまざまなニーズに対応できないことがよくあります。たとえば、一部の主流の AI テキスト検出器は、一般に、短いコーパスに対する予測機能が不十分です。

さまざまな長さのコーパスのさまざまな検出効果に関して、著者は、AI によって生成された短いテキストの帰属にはある程度の「不確実性」がある可能性があることを観察しました。より率直に言うと、 AIによって生成された短文の中には人間によってもよく使用されるものもあり、AIによって生成された短文が人間によるものかAIによるものか判断することは困難です。以下に、人間と AI が同じ質問にそれぞれ答えるいくつかの例を示します。

これらの例から、次のことがわかります。 AIによって生成された短答を識別することは非常に困難です。この種のコーパスは人間との差が小さすぎて、その真の属性を厳密に判断することが困難です。したがって、単純に短いテキストに人間/AI として注釈を付け、テキスト検出のための従来の二値分類問題に従うことは不適切です。

この問題に対処するために、この研究では人間と AI の二項分類検出部分を部分的な PU (Positive-Unlabeled) 学習問題、つまり短い文で言えば人間の言語に変換します。はポジティブクラス (Positive) であり、機械語はラベルなしクラス (Unlabeled) であるため、トレーニング損失関数が改善されます。この改善により、さまざまな身体に対する検出器の分類パフォーマンスが大幅に向上しました。

アルゴリズムの詳細

従来の PU 学習設定では、2 分類モデルはポジティブ トレーニング サンプルとラベルなしトレーニング サンプルに基づいてのみ学習できます。一般的に使用される PU 学習方法は、PU 損失を定式化することで、負のサンプルに対応するバイナリ分類損失を推定することです。

このうち、 は陽性サンプルと陽性ラベルによって計算された二値分類損失を表し、 はすべてのラベルなしサンプルを仮定して計算された損失を表します。二項分類損失; は、陽性サンプルが陰性ラベルであると仮定して計算された二項分類損失を表します; は、前の陽性サンプルの確率を表します。つまり、陽性サンプルはすべての PU サンプルの推定シェアに含まれます。従来の PU 学習では、通常、前の は固定のハイパーパラメータに設定されます。ただし、テキスト検出シナリオでは、検出器はさまざまな長さのさまざまなテキストを処理する必要があり、さまざまな長さのテキストの場合、サンプルと同じ長さのすべての PU サンプル間の陽性サンプルの推定割合も異なります。したがって、この研究では PU 損失を改善し、長さに敏感なマルチスケール PU (MPU) 損失関数を提案します。

具体的には、この研究では、短いテキストの検出をモデル化するための抽象サイクル モデルを提案します。従来の NLP モデルがシーケンスを処理する場合、通常は RNN、LSTM などのマルコフ連鎖構造を持ちます。このタイプの循環モデルのプロセスは、通常、徐々に反復的なプロセスとして理解できます。つまり、各トークン出力の予測は、前のトークンと前のシーケンスの予測結果を、このトークンの予測結果と変換およびマージすることによって取得されます。トークン。つまり、次のプロセスです。

この抽象モデルに基づいて事前確率を推定するには、次の出力を仮定する必要があります。モデルは、特定の文が肯定的であるということです。クラスの信頼度 (肯定的) は、サンプルがその人によって話されていると判断される確率です。各トークンの寄与サイズは文トークンの長さの反比例であり、それは正、つまりラベルなしであり、ラベルなしの確率は正である確率よりもはるかに大きいと想定されます。なぜなら、大規模モデルの語彙が徐々に人間の語彙に近づくにつれて、ほとんどの単語が AI と人間のコーパスの両方に出現するようになるからです。この単純化されたモデルと設定された正のトークン確率に基づいて、さまざまな入力条件下でのモデル出力の信頼度の合計期待値を見つけることによって、最終的な事前推定値が取得されます。

#理論的な導出と実験を通じて、テキストの長さが増加するにつれて事前確率が増加すると推定されます。最終的には安定します。テキストが長くなると、検出器がより多くの情報を捕捉できるようになり、テキストの「ソースの不確実性」が徐々に弱くなるため、この現象も予想されます。

その後、陽性サンプルごとに、サンプル長から取得した一意の事前分布に基づいて PU 損失が計算されます。最後に、短いテキストにはある程度の「不確実性」しかないため (つまり、短いテキストには一部の人物または AI のテキスト特徴も含まれる)、バイナリ損失と MPU 損失に重みを付けて、最終的な最適化目標として追加できます。 # ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

さらに、MPU 損失はさまざまな長さのトレーニング コーパスに適応することに注意してください。既存の学習データが明らかに同種であり、コーパスの大部分が長大なテキストで構成されている場合には、MPU 手法の効果を十分に発揮できません。トレーニングコーパスの長さをより多様にするために、この研究では文レベルでのマルチスケーリングモジュールも導入しています。このモジュールは、トレーニング コーパス内のいくつかの文をランダムにカバーし、元の順序を維持したまま残りの文を再編成します。トレーニング コーパスのマルチスケール操作後、トレーニング テキストの長さが大幅に強化され、AI テキスト検出器のトレーニングに PU 学習が最大限に活用されています。

#実験結果

#上の表に示すように、著者はまず AI が生成した短いコーパス データでテストしました。 set Tweep-Fake MPU 損失の影響。このデータセットのコーパスはすべて Twitter 上の比較的短いセグメントです。また、著者は、従来の 2 つのカテゴリの損失を、従来の言語モデルの微調整に基づいた MPU 損失を含む最適化目標に置き換えます。改良された言語モデル検出器はより効果的で、他のベースライン アルゴリズムを上回ります。

著者は、chatGPT によって生成されたテキストもテストしました。従来の微調整後に得られた言語モデル検出器の方が優れています。短い文のパフォーマンスは悪いですが、同じ条件下で MPU メソッドでトレーニングされた検出器は、短い文では良好なパフォーマンスを示しますが、同時に完全なコーパスに対して大幅な効果の向上を達成できます。F1 スコアは 1% 増加し、 OpenAI と DetectGPT、SOTA アルゴリズム。

#上記の表に示すように、著者はアブレーション実験の各部位によってもたらされる効果の増加を観察しました。 MPU 損失により、長い材料と短い材料の分類効果が高まります。

著者は、従来の PU とマルチスケール PU (MPU) も比較しました。上の表から、MPU 効果がより優れており、AI マルチスケール テキスト検出のタスクによりよく適応できることがわかります。

要約

著者は、AIGC 生成モデルの普及に伴い、マルチスケール PU 学習に基づくソリューションを提案することで、テキスト検出器による短文認識の問題を解決しました。将来的には、この種のコンテンツの検出がますます重要になるでしょう。この研究は、AI テキスト検出の問題において確実な一歩を踏み出したものであり、AIGC コンテンツをより適切に制御し、AI によって生成されたコンテンツの悪用を防止するために、今後さらに同様の研究が行われることが期待されています。

以上が「ChatGPT詐欺」を特定、その効果はOpenAIを超える：北京大学とファーウェイのAI生成検出器が登場の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。