LLMSの仕組み：トレーニング後、ニューラルネットワーク、幻覚、推論への事前トレーニング

大規模な言語モデル（LLMS）の背後にある魔法を発表する：2部構成の探索

大規模な言語モデル（LLM）はしばしば魔法のように見えますが、その内部の仕組みは驚くほど体系的です。この2部構成のシリーズは、LLMSを分裂させ、今日使用しているAIシステムへの構築、トレーニング、および改良を説明しています。 Andrej Karpathyの洞察力に富んだ（そして長い！）YouTubeビデオに触発されたこのコンデンスバージョンは、よりアクセスしやすい形式でコアコンセプトを提供します。 Karpathyのビデオは強くお勧めしますが（わずか10日で800,000回の視聴！）、この10分間の読み取りでは、最初の1.5時間から重要なポイントが蒸留されます。

パート1：生データからベースモデル

LLM開発には、トレーニング前とトレーニング後の2つの重要なフェーズが含まれます。

1。トレーニング前：言語の指導

テキストを生成する前に、LLMは言語構造を学習する必要があります。この計算的に集中的にトレーニング前プロセスには、いくつかのステップが含まれます

データの取得と前処理：
• 大規模で多様なデータセットが収集されます。 ただし、生データには、スパム、複製、および低品質のコンテンツを削除するためにクリーニングが必要です。 FineWebのようなサービスは、顔を抱きしめて利用できる前処理バージョンを提供しています。

トークン化：

テキストは、ニューラルネットワーク処理のために数値トークン（単語、サブワード、または文字）に変換されます。 たとえば、GPT-4は、100,277のユニークなトークンを利用しています。 Tiktokenizerなどのツールは、このプロセスを視覚化します

ニューラルネットワークトレーニング：

ニューラルネットワークは、コンテキストに基づいて次のトークンを予測することを学びます。 これには、数十億の反復が含まれ、予測精度を改善するために、バックプロパゲーションを介してパラメーター（重み）を調整します。ネットワークのアーキテクチャは、出力を生成するために入力トークンがどのように処理されるかを決定します。

結果のベースモデル

は、単語の関係と統計パターンを理解していますが、実際のタスクの最適化がありません。 高度なオートコンプリートのように機能し、確率に基づいて予測しますが、命令に従う機能は限られています。プロンプト内の例を使用して、コンテキスト内学習を使用することができますが、さらなるトレーニングが必要です。

2。訓練後：実用用の精製

ベースモデルは、小型の特殊なデータセットを使用して、トレーニング後に洗練されています。 これは明示的なプログラミングではなく、構造化された例による暗黙の指示です。 トレーニング後の方法は

を含みます

• 指示/会話微調整：モデルに指示に従い、会話に従事し、安全ガイドラインを遵守し、有害な要求を拒否するように教えます（例：instructgpt）。
ドメイン固有の微調整：
• 特定のフィールドのモデルを適応させます（薬、法律、プログラミング）。 ユーザー入力とAIの応答を描くために特別なトークンが導入されています。

推論：テキストの生成

任意の段階で実行される

推論は、モデル学習を評価します。 このモデルは、この分布の潜在的なトークンとサンプルに確率を割り当て、トレーニングデータに明示的にテキストを作成しますが、統計的に一致しています。この確率的プロセスは、同じ入力からのさまざまな出力を可能にします。 幻覚：誤った情報への対処

幻覚は、LLMが誤った情報を生成すると、確率的な性質から生じます。 彼らは事実を「知らない」が、可能性のある単語シーケンスを予測します。 緩和戦略には以下が含まれます

「わからない」トレーニング：

モデルを明示的にトレーニングして、自己傍観と自動化された質問生成を通じて知識のギャップを認識しています。

Web Search Integration：

外部検索ツールにアクセスして知識を拡張し、結果をモデルのコンテキストウィンドウに組み込みます。
• llms曖昧な回想（トレーニング前からのパターン）およびワーキングメモリ（コンテキストウィンドウの情報）を介して知識にアクセスします。 システムプロンプトは、一貫したモデルIDを確立できます
結論（パート1）
• この部分では、LLM開発の基本的な側面を調査しました。パート2は、強化学習を掘り下げ、最先端のモデルを調べます。 あなたの質問と提案は大歓迎です！

以上がLLMSの仕組み：トレーニング後、ニューラルネットワーク、幻覚、推論への事前トレーニングの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。