ホームページ テクノロジー周辺機器 AI 大規模モデルの解釈可能性の分析: レビューにより真実が明らかになり、疑問が解決されます。

大規模モデルの解釈可能性の分析: レビューにより真実が明らかになり、疑問が解決されます。

Sep 29, 2023 pm 06:53 PM
業界 解釈可能性

大規模な言語モデルは、自然言語処理において驚くべき推論能力を示していますが、その基礎となるメカニズムはまだ明らかになっていません。大規模な言語モデルが広く適用されているため、アプリケーションのセキュリティ、パフォーマンスの制限、および制御可能な社会的影響にとって、モデルの動作メカニズムを解明することが重要です。

最近、中国と米国の多くの研究機関(ニュージャージー工科大学、ジョンズ・ホプキンス大学、ウェイクフォレスト大学、ジョージア大学、上海交通大学、 Baidu など)は、従来の微調整モデルとプロンプトに基づく非常に大規模なモデルの解釈可能性技術を包括的にレビューし、モデル説明の評価基準と今後の研究について議論する、大規模モデルの解釈可能性技術のレビューを共同でリリースしました。

大規模モデルの解釈可能性の分析: レビューにより真実が明らかになり、疑問が解決されます。

  • 紙のリンク: https://arxiv.org/abs/2309.01029
  • Github リンク: https://github.com/hy-zhao23/Explainability-for-Large-Language-Models

大規模モデルの解釈可能性の分析: レビューにより真実が明らかになり、疑問が解決されます。

大規模なものを説明することの難しさどこのモデル?

大規模なモデルを説明するのはなぜ難しいのでしょうか?自然言語処理タスクにおける大規模言語モデルの驚くべきパフォーマンスは、社会から広く注目を集めています。同時に、さまざまなタスクにわたる大規模モデルの驚異的なパフォーマンスをどのように説明するかは、学術界が直面している差し迫った課題の 1 つです。従来の機械学習や深層学習モデルとは異なり、超大規模モデル アーキテクチャと大量の学習教材により、大規模モデルに強力な推論機能と一般化機能を持たせることができます。大規模言語モデル (LLM) の解釈可能性を提供する際の主な問題としては、次のものが挙げられます。

  • モデルの複雑さの高さ。深層学習モデルや LLM 時代以前の従来の統計機械学習モデルとは異なり、LLM モデルは規模が大きく、数十億のパラメータが含まれており、その内部表現と推論プロセスは非常に複雑であり、その具体的な出力を説明するのは困難です。
  • 強いデータ依存性。 LLM は学習プロセス中に大規模なテキスト コーパスに依存するため、これらの学習データの偏りや誤差などがモデルに影響を与える可能性がありますが、学習データの品質がモデルに与える影響を完全に判断することは困難です。
  • ブラックボックスの性質。私たちは通常、Llama-2 のようなオープンソース モデルであっても、LLM をブラック ボックス モデルとして考えています。その内部の推論連鎖や意思決定プロセスを明確に判断することは難しく、入力と出力に基づいて分析するしかないため、解釈が困難になります。
  • #出力の不確実性。 LLM の出力は不確実であることが多く、同じ入力に対して異なる出力が生成される可能性があり、これも解釈の難しさを高めます。
  • 評価指標が不十分です。現在の対話システムの自動評価指標ではモデルの解釈可能性を十分に反映できておらず、人間の理解を考慮したさらなる評価指標が必要である。

大規模モデルのトレーニング パラダイム

大規模モデルの解釈可能性をより適切に要約するために、BERT 以上のレベルの大規模モデルのトレーニング パラダイムを 2 つのタイプに分類します: 1) 従来の微調整パラダイム、2) プロンプトに基づくパラダイム。

#従来の微調整パラダイム

従来の微調整の場合-tuning パラダイムは、まず大規模なラベルなしテキスト ライブラリで基本的な言語モデルを事前トレーニングし、次に特定のドメインからのラベル付きデータ セットを通じてそれを微調整します。このような一般的なモデルには、BERT、RoBERTa、ELECTRA、DeBERTa などが含まれます。

プロンプトベースのパラダイム

プロンプトベースのパラダイムプロンプトを使用して、ゼロショット学習または少数ショット学習を実装します。従来の微調整パラダイムと同様に、基本モデルを事前トレーニングする必要があります。ただし、プロンプトパラダイムに基づく微調整は、通常、命令チューニングとヒューマンフィードバックからの強化学習 (RLHF) によって実装されます。このような一般的なモデルには、GPT-3.5、GPT 4、Claude、LLaMA-2-Chat、Alpaca、Vicuna などが含まれます。トレーニング プロセスは次のとおりです:

従来の微調整パラダイムに基づくモデルの解釈

従来の微調整パラダイムに基づくモデルの解釈には、個々の予測の解釈が含まれます(ローカルな説明) とニューロン、ネットワーク層などのモデルの構造レベルのコンポーネントの説明 (グローバルな説明)。

#ローカル説明

ローカル説明は単一サンプルを予測します説明する。その説明方法には、特徴の帰属、注意に基づく説明、例に基づく説明、および自然言語による説明が含まれます。

大規模モデルの解釈可能性の分析: レビューにより真実が明らかになり、疑問が解決されます。

#1. 特徴アトリビューションの目的は、各入力特徴 (単語、フレーズ、テキスト範囲など) とモデル予測の間の相関関係を測定することです。特徴の帰属方法は次のように分類できます。

  • #摂動ベースの解釈、特定の入力特徴を変更することによる出力結果への影響を観察する

  • According勾配の解釈では、入力に対する出力の偏微分が、対応する入力の重要度指標として使用されます。

  • 代替モデル。人間が理解できる単純なモデルを使用して適合させます。各入力の重要性を取得するための複雑なモデル出力の単一コンポーネント;

  • 分解ベースのテクノロジは、特徴相関スコアを線形に分解することを目的としています。

2. 注意に基づく説明: 注意は入力の最も関連性の高い部分に焦点を当てる方法としてよく使用されるため、注意は予測を説明するために使用できる関連情報を学習する可能性があります。注意力に関連する一般的な説明方法には、次のものが含まれます。

  • 注意度の変化をさまざまなスケールで直感的に観察するための注意力視覚化テクノロジー。
  • 注意の偏微分の出力など、関数ベースの解釈。しかし、研究の視点としての注意の使用については、学術界で依然として議論の余地があります。

3. サンプルベースの説明では、主に敵対的なサンプルと反事実的なサンプルに分けられる、個々のケースの観点からモデルを検出して説明します。 。

  • # 敵対的な例は、小さな変化に非常に敏感なモデルの特性に対して生成されたデータです。自然言語処理では、通常、これらは次のように取得されます。テキストの変更。これは人間にとっては困難です。テキストの変換が異なると、モデルからの予測が異なることがよくあります。
  • 反事実サンプルは、否定などのテキストを変形することによって取得されます。これは通常、モデルの因果推論能力のテストです。

#4. 自然言語説明では、モデルのトレーニングに元のテキストと手動でラベル付けされた説明を使用するため、モデルは、モデルの意思決定プロセス。

#グローバルな解釈

##グローバルな解釈は、以下から派生することを目的としています。モデルの構成レベルにはニューロン、隠れ層、およびより大きなチャンクが含まれており、大規模なモデルがどのように機能するかについての高次の説明を提供します。主に、さまざまなネットワーク コンポーネントで学習された意味論的な知識を調査します。

プローブベースの解釈プローブ解釈テクノロジーは、主に、事前にトレーニングされたモデルまたは細かい層で浅い層をトレーニングすることによる分類子の検出に基づいています。調整されたモデル 次に、分類器がホールドアウト データセットで評価され、分類器が言語の特徴や推論能力を識別できるようになります。
  • ニューロン活性化 従来のニューロン活性化解析では、重要なニューロンの一部のみを考慮し、ニューロンと意味的特徴との関係を学習していました。最近では GPT-4 をニューロンの説明にも使用するようになり、一部のニューロンを選択して説明するのではなく、すべてのニューロンを説明することができます。
  • 概念ベースの解釈入力はまず一連の概念にマッピングされ、次に予測に対する概念の重要性を測定することによってモデルが解釈されます。
#プロンプトパラダイムに基づくモデルの説明
## プロンプトパラダイムに基づくモデルの説明では、2 つのモデルの機能を区別し、モデル学習の道筋を探るために、基本モデルとアシスタント モデルを個別に説明する必要があります。検討される問題には主に、少数ショット学習に関するモデルの説明を提供する利点、少数ショット学習と思考連鎖能力のソースの理解が含まれます。
#基本モデルの説明

# #モデル学習における説明の利点 少数ショット学習の場合、説明がモデル学習に役立つかどうかを調べます。
    状況学習 大規模モデルにおける状況学習のメカニズムを調査し、大規模モデルと中規模モデルの状況学習の違いを区別します。
  • 思考チェーン プロンプト モデルのパフォーマンスを向上させる思考チェーン プロンプトを調べます。
  • #アシスタントモデルの説明

Fine-tuning のロール アシスタント モデルは、通常、一般的な意味知識を取得するために事前トレーニングされ、その後、教師あり学習と強化学習を通じてドメイン知識を取得します。アシスタント モデルの知識が主にどの段階から得られるかについては、まだ研究の余地があります。
幻想と不確実性 大規模モデルの予測の精度と信頼性は、依然として現在の研究の重要なトピックです。大規模モデルの強力な推論能力にもかかわらず、その結果はしばしば誤った情報や幻覚に悩まされます。この予測の不確実性は、その広範な適用に大きな課題をもたらします。
  • #モデル解釈の評価

# #モデルによって説明される評価指標には、妥当性、忠実性、安定性、堅牢性などが含まれます。この論文では主に、1) 人間に対する合理性、2) モデルの内部ロジックへの忠実度という、広く関係している 2 つの側面について説明しています。
従来の微調整モデルの説明の評価は、主に局所的な説明に焦点を当ててきました。妥当性を実現するには、多くの場合、設計された標準に対するモデルの解釈と人間による注釈付きの解釈の測定評価が必要です。忠実度は定量的指標のパフォーマンスにより注意を払っていますが、指標が異なればモデルやデータの異なる側面に焦点を当てているため、忠実度を測定するための統一基準がまだ不足しています。モデルの解釈を促すことに基づく評価には、さらなる研究が必要です。

#今後の研究課題

1.効果的な正しい説明の欠如。 この課題は 2 つの側面から生じています: 1) 効果的な説明を設計するための基準の欠如; 2) 効果的な説明の欠如は、説明の評価に対するサポートの欠如につながります。

##2. 出現現象の起源は不明です。 大規模モデルの創発能力の探索は、モデルとデータのそれぞれの観点から行うことができます モデルの観点からは、1) 創発現象を引き起こすモデル構造、2) 最小モデルスケールと複雑性を備え、言語を超えたタスクで優れたパフォーマンスを発揮します。データの観点から見ると、1) 特定の予測を決定するデータのサブセット、2) 創発的能力とモデルのトレーニングとデータの汚染との関係、3) 事前予測のそれぞれの効果に対するトレーニング データの質と量の影響。トレーニングと微調整。

3. 微調整パラダイムとプロンプト パラダイムの違い。 分布内と分布外でのパフォーマンスの違いは、推論方法の違いを意味します。 1) データが分散している場合の推論パラダイムの違い、2) データが異なるように分散されている場合のモデルの堅牢性の違いの原因。

#4. 大規模モデルのショートカット学習問題。 2 つのパラダイムの下では、モデルのショートカット学習の問題はさまざまな側面で存在します。大規模なモデルには豊富なデータ ソースがありますが、ショートカット学習の問題は比較的軽減されます。ショートカット学習の形成メカニズムの解明と解決策の提案は、モデルの一般化にとって依然として重要です。

#5. 注意の冗長性。 注意モジュールの冗長性の問題は両方のパラダイムに広く存在しており、注意の冗長性を研究することでモデル圧縮技術に解決策を提供できます。

# 6. 安全と倫理。 大規模モデルの解釈可能性は、モデルを制御し、モデルの悪影響を制限するために重要です。偏見、不公平、情報汚染、社会操作などの問題です。説明可能な AI モデルを構築すると、上記の問題を効果的に回避し、倫理的な人工知能システムを形成できます。

以上が大規模モデルの解釈可能性の分析: レビューにより真実が明らかになり、疑問が解決されます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した 初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました 世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました Aug 22, 2024 pm 10:35 PM

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Sep 03, 2024 pm 05:18 PM

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました 宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました Aug 08, 2024 am 07:02 AM

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

中国初の大型UIモデル登場! Motiff の大規模モデルはデザイナーにとって最適なアシスタントを作成し、UI デザインのワークフローを最適化します 中国初の大型UIモデル登場! Motiff の大規模モデルはデザイナーにとって最適なアシスタントを作成し、UI デザインのワークフローを最適化します Aug 19, 2024 pm 04:48 PM

人工知能は想像を超えるスピードで発展しています。 GPT-4 がマルチモーダル技術を一般に公開して以来、マルチモーダル大型モデルは急速な開発段階に入り、純粋なモデルの研究開発から垂直分野での探査と応用へと徐々に移行し、あらゆる分野に深く統合されています。インターフェイス インタラクションの分野では、Google や Apple などの国際的なテクノロジー大手が、携帯電話 AI 革命を前進させる唯一の方法とみなされている大規模なマルチモーダル UI モデルの研究開発に投資してきました。このような状況の中で、中国初の大規模UIモデルが誕生しました。 8月17日、国際エクスペリエンスデザインカンファレンス「IXDC2024」において、AI時代のデザインツールであるMotiffは、独自開発したUIマルチモーダルモデル「Motiff Model」を発表した。世界初のUIデザインツールです

See all articles