OpenAI、言語モデルの動作を説明するための新しいツールを開発

言語モデルは、与えられたテキストに基づいて自然言語を生成できる人工知能テクノロジーです。 OpenAI の GPT シリーズ言語モデルは、現在最も先進的な代表的な言語モデルの 1 つですが、IT House は、これらの言語モデルにも問題があることに気付きました。それは、その動作を理解し、予測することが難しいということです。言語モデルの透明性と信頼性を高めるために、OpenAI は、言語モデルのどの部分がその動作に関与しているかを自動的に特定し、それを自然言語で説明できる新しいツールを開発しています。

このツールの原理は、別の言語モデル (OpenAI の最新 GPT-4) を使用して、他の言語モデル (OpenAI 独自の GPT-2 など) を分析することです。内部構造。言語モデルは多くの「ニューロン」で構成されており、それぞれがテキスト内の特定のパターンを観察し、モデルの次の出力に影響を与えることができます。たとえば、スーパーヒーローに関する質問 (「どのスーパーヒーローが最も有用なスーパーパワーを持っていますか?」など) がある場合、「マーベル スーパーヒーロー ニューロン」により、モデルがマーベル映画の特定のスーパーヒーローに言及する可能性が高まる可能性があります。

OpenAI のツールは、このメカニズムを使用してモデルのさまざまな部分を分解します。まず、評価対象のモデルにテキスト シーケンスを入力し、特定のニューロンが頻繁に「起動」するのを待ちます。次に、これらの非常に活動的なニューロンを GPT-4 に「示し」、GPT-4 に説明を生成させます。解釈の精度を判断するために、GPT-4 にいくつかのテキスト シーケンスを供給し、ニューロンの動作を予測またはシミュレートするように依頼します。次に、シミュレートされたニューロンの動作を実際のニューロンの動作と比較します。

「このアプローチでは、基本的に各ニューロンに対していくつかの予備的な自然言語説明を生成することができ、それらの説明が実際の動作とどの程度一致しているかを測定するスコアも取得できます。」 OpenAI スケーラブル アライメント 「私たちは GPT-4 を次のように使用します。」これは、ニューロンが探しているものの解釈を生成し、その解釈が実際の動作とどの程度一致しているかを評価するプロセスの一部です」とチーム リーダーの Jeff Wu 氏は述べています。 GPT-2 でそれらをコンパイルし、ツール コードとともに GitHub でオープン ソースとしてリリースされるデータセットにコンパイルします。このようなツールは、偏見や有害なスピーチの削減など、言語モデルのパフォーマンスを向上させるために使用される日が来るかもしれません。しかし彼らは、それが本当に役立つようになるまでには、まだ長い道のりがあることも認めています。このツールは、全体のほんの一部である約 1,000 個のニューロンの解釈に自信を持っています。

このツールを実行するには GPT-4 が必要なため、実際には GPT-4 の宣伝であると主張する人もいるかもしれません。しかしウー氏は、それがこのツールの目的ではなく、GPT-4の使用は「偶然」であり、むしろこの分野におけるGPT-4の弱点を示していると述べた。同氏はまた、これは商用アプリケーション向けに作成されたものではなく、理論的にはGPT-4以外の他の言語モデルにも適応できると述べた。

「説明のほとんどは非常に低いスコアを獲得したか、実際のニューロンの動作についてあまり説明していませんでした。」とウー氏は言いました。または 6 つの異なる方法。何かでアクティブ化されますが、明らかなパターンはありません。場合によっては、明らかなパターンがあっても、GPT-4 がそれを見つけることができません。」

より複雑で、より新しい、より大きなモデルは言うまでもなく、または、Web を参照してモデルから情報を取得できます。しかし、後者の場合、Web を閲覧してもツールの基本的な仕組みはそれほど変わらないとウー氏は考えています。彼によると、ニューロンが特定の検索エンジン クエリを実行したり、特定の Web サイトにアクセスしたりする理由を理解するには、少し調整するだけで十分です。

「これにより、他の人が構築して貢献できる自動化された方法で説明可能性の問題を解決する有望な道が開かれることを願っています」とウー氏は述べました。これらのモデル。」

以上がOpenAI、言語モデルの動作を説明するための新しいツールを開発の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。