大規模モデルの解釈可能性の分析: レビューにより真実が明らかになり、疑問が解決されます。
紙のリンク: https://arxiv.org/abs/2309.01029 Github リンク: https://github.com/hy-zhao23/Explainability-for-Large-Language-Models
モデルの複雑さの高さ。深層学習モデルや LLM 時代以前の従来の統計機械学習モデルとは異なり、LLM モデルは規模が大きく、数十億のパラメータが含まれており、その内部表現と推論プロセスは非常に複雑であり、その具体的な出力を説明するのは困難です。 強いデータ依存性。 LLM は学習プロセス中に大規模なテキスト コーパスに依存するため、これらの学習データの偏りや誤差などがモデルに影響を与える可能性がありますが、学習データの品質がモデルに与える影響を完全に判断することは困難です。 ブラックボックスの性質。私たちは通常、Llama-2 のようなオープンソース モデルであっても、LLM をブラック ボックス モデルとして考えています。その内部の推論連鎖や意思決定プロセスを明確に判断することは難しく、入力と出力に基づいて分析するしかないため、解釈が困難になります。 - #出力の不確実性。 LLM の出力は不確実であることが多く、同じ入力に対して異なる出力が生成される可能性があり、これも解釈の難しさを高めます。
- 評価指標が不十分です。現在の対話システムの自動評価指標ではモデルの解釈可能性を十分に反映できておらず、人間の理解を考慮したさらなる評価指標が必要である。
従来の微調整の場合-tuning パラダイムは、まず大規模なラベルなしテキスト ライブラリで基本的な言語モデルを事前トレーニングし、次に特定のドメインからのラベル付きデータ セットを通じてそれを微調整します。このような一般的なモデルには、BERT、RoBERTa、ELECTRA、DeBERTa などが含まれます。
プロンプトベースのパラダイムプロンプトを使用して、ゼロショット学習または少数ショット学習を実装します。従来の微調整パラダイムと同様に、基本モデルを事前トレーニングする必要があります。ただし、プロンプトパラダイムに基づく微調整は、通常、命令チューニングとヒューマンフィードバックからの強化学習 (RLHF) によって実装されます。このような一般的なモデルには、GPT-3.5、GPT 4、Claude、LLaMA-2-Chat、Alpaca、Vicuna などが含まれます。トレーニング プロセスは次のとおりです:
- #摂動ベースの解釈、特定の入力特徴を変更することによる出力結果への影響を観察する
- According勾配の解釈では、入力に対する出力の偏微分が、対応する入力の重要度指標として使用されます。
- 代替モデル。人間が理解できる単純なモデルを使用して適合させます。各入力の重要性を取得するための複雑なモデル出力の単一コンポーネント;
- 分解ベースのテクノロジは、特徴相関スコアを線形に分解することを目的としています。
注意度の変化をさまざまなスケールで直感的に観察するための注意力視覚化テクノロジー。 注意の偏微分の出力など、関数ベースの解釈。しかし、研究の視点としての注意の使用については、学術界で依然として議論の余地があります。
- # 敵対的な例は、小さな変化に非常に敏感なモデルの特性に対して生成されたデータです。自然言語処理では、通常、これらは次のように取得されます。テキストの変更。これは人間にとっては困難です。テキストの変換が異なると、モデルからの予測が異なることがよくあります。
- 反事実サンプルは、否定などのテキストを変形することによって取得されます。これは通常、モデルの因果推論能力のテストです。
##グローバルな解釈は、以下から派生することを目的としています。モデルの構成レベルにはニューロン、隠れ層、およびより大きなチャンクが含まれており、大規模なモデルがどのように機能するかについての高次の説明を提供します。主に、さまざまなネットワーク コンポーネントで学習された意味論的な知識を調査します。
- ニューロン活性化 従来のニューロン活性化解析では、重要なニューロンの一部のみを考慮し、ニューロンと意味的特徴との関係を学習していました。最近では GPT-4 をニューロンの説明にも使用するようになり、一部のニューロンを選択して説明するのではなく、すべてのニューロンを説明することができます。
- 概念ベースの解釈入力はまず一連の概念にマッピングされ、次に予測に対する概念の重要性を測定することによってモデルが解釈されます。
- 状況学習 大規模モデルにおける状況学習のメカニズムを調査し、大規模モデルと中規模モデルの状況学習の違いを区別します。
- 思考チェーン プロンプト モデルのパフォーマンスを向上させる思考チェーン プロンプトを調べます。
- #アシスタントモデルの説明
#モデル解釈の評価
以上が大規模モデルの解釈可能性の分析: レビューにより真実が明らかになり、疑問が解決されます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

人工知能は想像を超えるスピードで発展しています。 GPT-4 がマルチモーダル技術を一般に公開して以来、マルチモーダル大型モデルは急速な開発段階に入り、純粋なモデルの研究開発から垂直分野での探査と応用へと徐々に移行し、あらゆる分野に深く統合されています。インターフェイス インタラクションの分野では、Google や Apple などの国際的なテクノロジー大手が、携帯電話 AI 革命を前進させる唯一の方法とみなされている大規模なマルチモーダル UI モデルの研究開発に投資してきました。このような状況の中で、中国初の大規模UIモデルが誕生しました。 8月17日、国際エクスペリエンスデザインカンファレンス「IXDC2024」において、AI時代のデザインツールであるMotiffは、独自開発したUIマルチモーダルモデル「Motiff Model」を発表した。世界初のUIデザインツールです
