Karpathy의 견해는 논란의 여지가 있습니다. RLHF는 실제 강화 학습이 아니며 Google과 Meta는 이에 반대합니다.

RLHF와 RL을 같은 카테고리로 분류할 수 있는지에 대해서는 여전히 사람마다 의견이 다른 것 같습니다. AI 전문가 Karpathy가 인공지능의 개념을 대중화하기 위해 다시 왔습니다. 어제 그는 "인간 피드백 기반 강화 학습(RLHF)은 단지 강화 학습(RL)일 뿐입니다."라고 트윗했습니다.

Karpathy의 전체 텍스트는 다음과 같이 설명됩니다.
RLHF는 대형 언어 모델(LLM)을 훈련하는 세 번째 방법입니다. 세 가지(마지막) 주요 단계가 있으며, 처음 두 단계는 사전 훈련 및 감독 미세 조정(SFT)입니다. 내 생각에 RLHF는 간신히 RL일 뿐이고 널리 인식되지는 않습니다. RL은 강력하지만 RLHF는 그렇지 않습니다.
실제 RL을 사용해 학습한 AlphaGo의 예를 살펴보겠습니다. 컴퓨터는 바둑 게임을 하며 보상 기능(게임의 승리)을 극대화하는 라운드에서 훈련을 받았고 결국 최고의 인간 플레이어를 능가했습니다. AlphaGo는 RLHF를 사용하여 훈련하지 않았으며, 있었다면 그다지 효과적이지 않았을 것입니다.
RLHF로 AlphaGo를 훈련시키면 어떤 모습일까요? 먼저 인간 주석자에게 두 가지 바둑 상태를 제공하고 어느 것을 선호하는지 물어봅니다.

その後、100,000 件の同様の比較を収集し、「報酬モデル」(RM) ニューラル ネットワークをトレーニングして、ボードの状態の人間の雰囲気チェックをシミュレートします。人間の平均的な判断と一致するように訓練します。ボーナスモデルの雰囲気チェックを取得したら、これに対して RL を実行し、良い雰囲気をもたらす動きを行う方法を学ぶことができます。明らかに、これは Go ではあまり興味深い結果を生成しません。
これは主に 2 つの基本的で独立した理由によるものです:
1) 雰囲気は誤解を招く可能性があり、それは実際の報酬 (ゲームの勝利) ではありません。これはエージェントの目標としては不十分です。さらに悪いことに、2) ボードの状態が報酬モデルと逆であることがすぐに判明するため、RL の最適化が軌道から外れることがわかります。報酬モデルは、大気をシミュレートするために数十億のパラメーターを使用する大規模なニューラル ネットワークであることを思い出してください。一部のボード状態は、独自のトレーニング データの分布範囲外にあり、実際には良好な状態ではありませんが、報酬モデルから非常に高い報酬を受け取ります。
同じ理由で、RLHF の作業が LLM で機能することに時々驚かれます。 LLM 用にトレーニングした報酬モデルは、まったく同じ方法で雰囲気チェックを行うだけで、人間の評価者が統計的に好むと思われるアシスタントの応答に高いスコアを与えます。これは問題を正しく解決するという実際の目標ではなく、人間がエージェントとして良いと考える目標です。
第二に、モデルはゲームがモデルに報酬を与える方法で応答することをすぐに学習するため、RLHF を長時間実行することさえできません。これらの予測は非常に奇妙に見え、LLM アシスタントが多くのプロンプトに対して次のような無意味な応答を開始することがわかります。は、ザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザザズザこれはあなたにはばかげているように思えますが、ボーナスモデルの雰囲気チェックを見て、何らかの理由でボーナスモデルがこれらが素晴らしく見えると考えていることに気づきます。
LLM は、報酬モデルのトレーニング データの範囲外で、未定義の範囲内にある敵対的な例を見つけました。これらの特定の例をトレーニング セットに繰り返し追加することでこれを軽減できますが、次回も他の敵対的な例を見つけることができます。多くの最適化ステップで RLHF を実行することさえできません。最適化によって報酬モデルの計算が開始されるため、数百または数千のステップの後にこれを呼び出す必要があります。これはAlphaGoのようなRLではありません。
ただし、RLHF は、LLM アシスタントを構築する上で非常に役立つステップです。これにはいくつかの微妙な理由があると思いますが、私のお気に入りの理由は、RLHF では、LLM アシスタントがジェネレータとディスクリミネータのギャップから恩恵を受けるということです。つまり、多くの質問タイプでは、ヒューマン・アノテーターにとって、理想的な回答を最初から作成するよりも、いくつかの回答候補から最適な回答を選択する方がはるかに簡単です。良い例は、「ペーパークリップの詩を生成する」のようなプロンプトです。平均的な人間のアノテーターは、教師付き微調整例として使用するための優れた詩を一から書くのは困難ですが、いくつかの候補の回答 (詩) があれば、より良い詩を選択することはできます。したがって、RLHF は、人間による監視の「容易さ」のギャップから利益を得る方法です。
RLHF が幻覚の軽減に役立つ理由は他にもあります。報酬モデルがトレーニング中に LLM が何をでっち上げているかを特定するのに十分強力なモデルである場合、LLM は低い報酬でこの行動を罰することを学習し、不確実な場合に事実の知識を取得するためにリスクを避けるようにモデルに教えることができます。しかし、幻覚の満足な軽減と管理は別の問題であり、ここでは詳しく説明しません。結論として、RLHF は機能しますが、RL ではありません。
これまでのところ、LLM 向けの実稼働グレードの RL は、オープン ドメインで説得力を持って実装され、大規模に実証されていません。直感的には、これは、オープンエンドの問題解決タスクでは実際の報酬を得る (つまり、ゲームに勝つ) ことが非常に難しいためです。囲碁のような閉じられたゲームのような環境では、すべてが楽しいです。ダイナミクスは限られており、報酬関数の評価コストは非常に低く、ゲームは不可能です。
しかし、記事を要約することで客観的な報酬を提供するにはどうすればよいでしょうか?それとも、特定の pip インストールに関する曖昧な質問に答えますか?それとも冗談を言いますか？それとも Java コードを Python に書き換えますか?これを達成することは原理的に不可能ではありませんが、簡単ではなく、創造的な思考が必要です。この問題を説得力をもって解決した人は、本物の RL を実行できるようになり、AlphaGo が囲碁で人間に勝つことができるようになります。 RL を使用すると、LLM はオープンドメインの問題を解決する際に人間を真に上回る可能性を秘めています。
Karpathy 氏の指摘は、RLHF と RL のさらなる違いを指摘する一部の人からも同様でした。たとえば、RLHF は適切な検索を実行せず、主に事前トレーニングされた軌道のサブセットを利用することを学習します。対照的に、適切な RL を実行すると、損失関数にエントロピー項が追加されるため、離散アクションの分布にノイズが多くなることがよくあります。 Kaypathy 氏は、原理的には RLHF の目標にエントロピー報酬を簡単に追加できると主張し、これは RL でもよく行われます。しかし実際には珍しいことのようです。

Googleの研究科学者ケビン・パトリック・マーフィーもカルパシーに完全に同意します。

1. 그는 RLHF가 문자열 값 작업을 사용하는 컨텍스트 "산적"에 가깝다고 믿습니다. 여기서 프롬프트는 컨텍스트이므로 완전한 RL이라고 할 수 없습니다.
2. 일상적인 업무에 대한 보상을 공식화하는 것도 어려운 부분입니다(그는 이를 정렬이라고 부를 수도 있다고 생각합니다).

   

   그러나 Google의 또 다른 선임 연구 과학자인 Natasha Jaques는 Karpathy가 틀렸다고 생각합니다. 그녀는 agent가 사람들과 상호 작용할 때 사람들이 좋아하는 답변을 제공하는 것이 진정한 목표라고 믿습니다.

분배 범위를 벗어나는 것은 RLHF만의 문제가 아닙니다. 인간의 피드백이 무한한 Go 시뮬레이션을 실행하는 것보다 더 제한적이라고 해서 해결할 가치가 없는 문제가 아니라는 의미는 아니며 단지 더 어려운 문제가 될 뿐입니다. 그녀는 LLM에서 편견을 줄이는 것이 바둑에서 인간을 이기는 것보다 더 의미가 있기 때문에 이것이 더 영향력 있는 문제가 되기를 바랍니다. 보너스 모델이 바이브 체크라고 Karpathy와 같은 경멸적인 용어를 사용하는 것은 어리석은 일입니다. 가치 추정에 대해 동일한 인수를 사용할 수 있습니다.

그녀는 Karpathy의 견해가 현재 LLM 편견과 환상이 야기할 수 있는 심각한 피해를 완화할 수 있는 유일한 실행 가능한 방법인 경우에도 사람들이 RLHF 작업을 추구하는 것을 방해하는 역할만 할 것이라고 생각합니다. ㅋㅋ                                                                                 출처: https://x.com/natashajaques/status/182163113759 0259979

Meta 연구원 Pierluca D'Oro는 Karpathy의 요점에 동의하지 않지만 "RLHF는 거의 RL이 아니다"라는 제목에는 동의합니다. 그는 일반적으로 LLM을 미세 조정하는 데 사용되는 RLHF는 RL이 아니라고 주장했습니다.

주요 사항은 다음과 같습니다.

강화 학습에서 "완벽한 보상" 개념을 추구하는 것은 비현실적입니다. 대부분의 복잡한 작업에서는 목표의 중요성 외에도 실행 방법도 똑같이 중요하기 때문입니다.

바둑처럼 규칙이 명확한 작업에서는 RL이 잘 수행됩니다. 그러나 복잡한 행동의 경우 기존 RL의 보상 메커니즘이 요구 사항을 충족하지 못할 수 있습니다.
1. 그는 불완전한 보상 모델 하에서 RL의 성능을 향상시키는 방법 연구를 옹호하고 피드백 루프, 강력한 RL 메커니즘 및 인간-기계 협업의 중요성을 강조합니다. ㅋㅋ 사진 출처: https://x.com/proceduralia/ status/1821560990091128943 당신은 누구의 의견에 동의하시나요? 댓글 영역에 메시지를 남겨주시면 감사하겠습니다.

위 내용은 Karpathy의 견해는 논란의 여지가 있습니다. RLHF는 실제 강화 학습이 아니며 Google과 Meta는 이에 반대합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!