数値計算を行わずに、純粋に会話だけで機械学習を行うことはできるのでしょうか？自然言語に基づいた新しい ML パラダイムが到来します

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

この記事の著者 Xiao Zhenzhong は、ドイツのマックス プランク インテリジェント システム研究所およびテュービンゲン大学の博士課程の学生です。 Bamler 氏はテュービンゲン大学の博士課程の学生で同大学の機械学習教授、Bernhard Schölkopf 氏はマックス プランク インテリジェント システム研究所所長、Liu Weiyang 氏はケンブリッジ マックス プランク研究所共同プロジェクトの研究者です。

論文アドレス: https://arxiv.org/abs/2406.04344

分類や回帰問題などの従来の機械学習シナリオでは、与えられたトレーニングデータで、パラメーターを最適化することで関数モデルを学習しますトレーニング セットとテスト セットにおける と の関係。このうち、 は数値に基づく関数であり、そのパラメーター は通常、数値勾配を計算することで を更新し、学習効果を実現します。

数値を使用する代わりに、自然言語を使用してモデルを表すことはできますか?自然言語に基づいて、この非数値モデルで推論とトレーニングを実行するにはどうすればよいでしょうか?

言語化機械学習 (VML; Verbalized Machine Learning) は、これらの質問に答え、自然言語に基づいた機械学習の新しいパラダイムを提案します。 VML は、大規模言語モデル (LLM) を自然言語空間の汎用関数近似器 として扱い、データ とパラメーター は両方とも自然言語空間の文字列です。推論を行う場合、指定された入力データ とパラメーター を LLM に送信することができ、LLM の答えが推論 に対する答えになります。

任意のタスクとデータ について、どうやって を取得するのでしょうか?従来の数値に基づく機械学習では、損失関数の勾配を計算することで既存のモデルパラメータを損失が減少する方向に更新し、の最適化関数を取得します。

ここで、 と はそれぞれ学習率と損失関数です。

VMLの設定では、データもパラメータも文字列であり、LLMはブラックボックス推論エンジンとみなされるため、数値計算によるの最適化はできません。しかし、モデル関数を近似するために自然言語空間における一般的な近似関数として LLM を使用しており、 のオプティマイザー も関数であるため、それを近似するためにも LLM を使用しないのはなぜでしょうか。したがって、口頭最適化関数は

として書くことができます。ここで、はのバッチのトレーニングデータとモデル予測結果、は最適化関数のパラメータです（自然言語も同様です）。

中 図 2: VML のモデルとオプティマイザーの自然言語テンプレートのサンプル。

図 1 は、VML の完全なアルゴリズムを示しています。基本的には従来の機械学習アルゴリズムと同じであることがわかります。唯一の違いは、データとパラメーターが自然言語空間の文字列であり、モデル
とオプティマイザー

は両方とも自然言語空間で推論を実行することです。 LLM。図 2 は、回帰タスクにおけるモデル

とオプティマイザー の具体的なテンプレートの例を示しています。

従来の機械学習と比較して、VML の利点は次のとおりです。 (1) 自然言語による簡単な記述でモデルに帰納的バイアスを追加できる。 (2) 関数群を事前に設定する必要がない。モデル (関数ファミリー)、オプティマイザー
は、トレーニング プロセス中にモデルの関数ファミリーを自動的に選択できます。(3) 最適化関数は、モデル パラメーターの更新ごとに自然言語による説明と、その説明と推論を提供します。モデルも自然言語であり、説明可能です。

実験の表示

多項式回帰

図3に示すように、モデルの初期パラメータは線形回帰の定義です。最適化の最初のステップ中に、オプティマイザーは、

の値の範囲が

よりも大きく、正の相関があるように見えることが判明したため、モデルを単純な線形回帰モデルに更新することにしたと述べました。

最適化の 2 番目のステップで、オプティマイザーは、現在のモデルのパフォーマンスが低いため、線形モデルの仮定が単純すぎることがわかり、 の間に非線形の関係があることが判明したと述べました。とだったので、モデルを変更することにしました 2次関数に更新されました。

最適化の 3 番目のステップでは、オプティマイザーの焦点は関数ファミリーの選択から 2 次関数のパラメーターの変更に移ります。最終的なモデルは、実際の関数に非常に近い結果を学習します。図 3: マルチスプリット回帰ミッションにおける VML のトレーニング プロセスの記録。

非線形二次元平面分類

図4に示すように、モデル

の初期パラメータは二次元平面二値分類の定義と、文「決定境界「円です」を使用し、誘導バイアスを追加します。最適化の最初のステップで、オプティマイザーは、提供された事前分布に基づいてモデルを円方程式に更新すると言います。次の最適化ステップでは、オプティマイザはトレーニング データに基づいて円方程式の中心と半径を調整します。ステップ 41 まで、オプティマイザは現在のモデルが適切に適合していると思われるため、モデルの更新を停止しました。

同時に、VML も帰納的バイアスを追加せずに決定木に基づいて優れたモデルを学習できることもわかりますが、比較するとトレーニング損失の変動が大きくなります。

^{図 4 : 非線形二次元平面分類タスクにおける VML の学習過程の記録。}

医療画像のバイナリ分類

大規模モデルが画像やテキストなどのマルチモーダル入力を受け入れる場合、VML は画像タスクにも使用できます。この実験では、GPT-4o および PneumoniaMNIST データ セットを使用して、X 線肺炎検出タスクを実行しました。

図 5 に示すように、2 つのモデル の初期パラメータは両方とも画像の 2 番目の分類として定義されていますが、そのうちの 1 つは「入力は使用される X 線画像です」という文を追加しました。肺炎の検出のため。」アプリオリとしての誘導バイアス。 50 ステップのトレーニング後、両方のモデルの精度は約 75% に達し、事前分布を備えたモデルの方がわずかに正確でした。

ステップ 50 の後のモデル パラメーターを注意深く見ると、帰納的バイアスを使用したモデルの説明には、「感染」や「炎症」などの肺炎に関連する多くの医学用語が含まれていることがわかりますが、帰納的バイアスを使用したモデルの説明には含まれていません。バイアスは、「透明性」や「対称性」などの肺 X 線の特徴を説明するだけです。

同時に、これらのモデルによって学習された説明は、専門知識を持つ医師によって検証されます。このような解釈可能で人間によるチェックが可能な機械学習モデルは、安全性が重要な医療シナリオでは貴重です。図 5: 肺炎患者の写真における VML トレーニング記録。

結論

この記事では、大規模な言語モデルに基づいた新しい機械学習パラダイム言語化機械学習 (VML; Verbalized Machine Learning) を紹介し、回帰においてその有効性を実証します分類タスクにおける VML の解釈可能性。

以上が数値計算を行わずに、純粋に会話だけで機械学習を行うことはできるのでしょうか？自然言語に基づいた新しい ML パラダイムが到来しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。