ChatGPTとは何ですか? G、P、T は何の略ですか?

ビル・ゲイツ: ChatGPT は 1980 年以来最も革新的な技術進歩です。

この AI 変革の時代に、私たちは参加して追いつくことしかできません。

これは私の勉強ノートです。ChatGPT を理解するのに役立つことを願っています。

1. ChatGPT の GPT は何を表しますか?

GPT、Generative Pre-trained Transformer、生成的な事前トレーニング済み変換モデル。 ＃＃＃＃＃＃どのような意味です？

ジェネレーティブとは、コンテンツを自発的に生成できることを意味します。

事前トレーニング (事前トレーニング) では、それを取得して再度トレーニングする必要はなく、一般的な言語モデルを直接準備します。

Transformer (変換モデル) は、Google が提案した非常に強力なモデルです。NLP 関連の問題をより適切に処理するのに役立ちます。非常に優れたニューラル ネットワーク構造です。

2. Transformer は Google によって提案されましたが。しかし、最も成功したアプリケーションは OpenAI の ChatGPT です。

ChatGPT は巨人の肩の上に立っているからです。

ChatGPT は人間社会全体の結晶であり、その道が開かれていなければ、ChatGPT はこれほどスムーズに世に出ることはなかったでしょう。

将来的には、ChatGPT をベースにしたさらに強力なアプリケーションが登場するでしょう。

3. Transformer には、アテンション メカニズムという非常に重要な概念があります。

注意のメカニズムとは何ですか?

入力した情報の中から重要な情報を選び出し、その重要な情報に注目し、重要でない情報は無視することです。こうすることで、自分の言っていることがよりよく理解できるようになります。

アテンション メカニズムは、Transformer モデルが入力情報の最も重要な部分に焦点を当てるのに役立ちます。

4. 機械学習の手法は、教師あり学習、教師なし学習、強化学習に分類されます。

教師あり学習: ラベル付きデータがあり、直接フィードバックを与えることができ、結果と将来を予測できます。

教師なし学習: ラベル、目標、フィードバックはありませんが、結果

強化学習: 機械学習のパフォーマンスを向上させるための一連の報酬メカニズムと罰メカニズムを備えた意思決定プロセスです

ChatGPT は教師なし学習と強化学習を使用します。

5. ChatGPT は大量のコンテンツを生成および作成できますが、実際には推測確率に依存しています。

たとえば、天気は灰色で、気分はとても悪い____

大量のデータで訓練された AI は、この空間に出現する確率が最も高い単語は次のとおりであると予測します。 "押し下げられた"。

次に、この空白に「憂鬱」が入力されます。したがって、答えは次のようになります。

天気は灰色で、とても憂鬱です。

これは信じられないほどの気分です。しかしそれが事実です。

現段階のすべての NLP (自然言語処理) タスクは、人間の世界を真に理解できる機械ではありません。

彼はただ言葉遊びをしたり、確率パズルを何度も解いたりしていました。

#6. 「確率を推測する」というこの言葉遊びにおいて、大規模予測モデル (LLM、ラージ言語モデル) は、BERT と GPT という 2 つの最も主流の方向に進化しました。

BERT は以前は最も人気のある方向性であり、ほぼすべての NLP 分野を支配していました。

そして、自然言語理解タスク (テキスト分類、感情傾向判断など) で優れた成績を収めます。

GPT の方向性は比較的弱く、最もよく知られているプレーヤーは OpenAl です。

実際、GPT3.0 がリリースされるまで、GPT の方向性は常に BERT より弱かったです (GPT3.0 は、ChatGPT の背後にあるモデルである GPT3.5 の前身です)。

7. BERT と GPT の違いは何ですか?

BERT は双方向言語モデルで、接続の前後にある単語を推測するため、cloze と同様に双方向です。

例: I ___go home on the 20th

BERT は「20 日に帰る予定です」と真ん中の「計画」を推測しました。

GPT は次の単語を推測する一方向の言語モデルであるため、作文を書くのと同様に一方向です。

例: 20 日に家に帰る予定____

GPT は、「20 日に家に帰る予定」と、その後の「家に帰る」という単語を推測しました。

8. GPT に質問するにはどうすればよいですか?

方法には、微調整とプロンプトの 2 つがあります。

微調整、パラメーター調整: 生成されたコンテンツを完成させるには、モデル パラメーターを更新する必要があります。

fine-tune はプロフェッショナルであり、敷居が高く、対象者が少ないです。ただし、多様性と精度が高く、複雑なタスクに適しています。数人のプレイヤー向けのゲーム。

プロンプト、プロンプトの単語: モデルやパラメーターを変更する必要はありません。タスクを完了するためにいくつかのヒントと例を提供するだけです。

プロンプトはよりシンプルで、敷居は低く、聴衆は多数です。単純な作業に適しています。選手全員がそうだ。

ChatGPT 入力ボックスに入力する内容がプロンプトです。

9. ChatGPT は生成 AI です。

AIはコンテンツ制作手法の観点から、分析型AIと生成型AIの2種類に分類されます。

分析 AI は主に分析と分類に使用されます。フィードするデータの量、分析できるコンテンツの種類は、データ自体に限定されます。

生成 AI は、データの分布を学習して要約することに基づいて、データに存在しない新しいコンテンツを作成します。テキスト、画像、コード、音声合成、ビデオ、3D モデルを生成できます。

ChatGPT は、テキストとコードの記述を得意とする生成 AI です。

10. 最後に、知識獲得の観点から見ると、ChatGPT は新世代の「知識表現および呼び出し方法」です。

初期の頃、知識は構造化された方法でデータベースに保存されていました。 SQL を通じて取得します。

その後、インターネットの誕生により、テキスト、画像、ビデオなどの非構造化知識がインターネット上に保存されるようになりました。私たちは検索エンジンを通じてそれを入手します。

これで、知識はパラメータの形式で大規模モデルに保存されます。私たちは自然言語を使用してこの知識を直接呼び出します。

以上がChatGPTとは何ですか? G、P、T は何の略ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。