OpenAI による大規模言語モデル GPT-4 のリリース以来、人々はこのエキサイティングなアプリケーションを使用しようとしています。 GPT-4 は、手書きの Web サイト モデルから HTML コードを生成できます。多くのユーザーは、このツールがクレジット カード取引から物理的な住所を見つけたり、訴訟草案を作成したり、SAT 数学テストに合格したり、教育や訓練を支援したり、さらには一人称シューティング ゲームを作成したりできることを証明しています。
GPT-4 のパワーは本当に驚くべきもので、そのマルチモーダル バージョンにアクセスするユーザーが増えるにつれて、より大規模な言語モデルがリリースされることが期待できます。 。ただし、人々は大規模言語モデルの分野における科学者の進歩を称賛しますが、その限界にも注意する必要があります。
GPT-4 のような大規模な言語モデルは多くのタスクを実行できますが、必ずしも最適なツールであるとは限りません。彼らがタスクを正常に完了したとしても、それはその分野でより信頼できるという意味ではありません。
GPT-4 のリリース後、多くのユーザーが OpenAI を批判しましたが、その多くは正当なものでした。 GPT がリリースされるたびに、その技術的な詳細はますます不透明になっていきます。 OpenAI が GPT-4 のリリース時に発表した技術レポートには、モデルのアーキテクチャ、トレーニング データ、その他の重要な側面に関する詳細がほとんど含まれていませんでした。 OpenAI が人工知能の研究機関から人工知能製品を販売する企業に徐々に変わりつつあることを示すさまざまな兆候があります。
ただし、これによって、大規模な言語モデルによって実現される魅力的な技術的進歩が損なわれるわけではありません。 OpenAI という企業は、これらのテクノロジーの開発において重要な役割を果たしてきました。わずか数年で、私たちは言語タスクを処理する最も平凡な深層学習モデルから、少なくとも表面的には非常に人間に近いテキストを生成できる大規模な言語モデルに移行しました。
さらに、十分なパラメーター、計算能力、トレーニング データがあれば、Transformer (大規模な言語モデルで使用されるアーキテクチャ) は、単一のモデルを使用して複数のタスクを実行する方法を学習できます。最近まで、深層学習モデルは 1 つのタスクのみを実行するのに適していると考えられていたため、これは重要です。大規模な言語モデルは、ゼロショットと少数のスナップショットで学習することでいくつかのタスクを実行できるようになり、スケーリング時に新たな機能を示すこともできます。
ChatGPT は、大規模な言語モデルの最新機能を完全に実証します。コーディング、Q&A、テキスト生成、その他多くのタスクを 1 回の会話で実行できます。ヒューマン フィードバックからの強化学習 (RLHF) と呼ばれるトレーニング手法のおかげで、指示に従う能力が向上します。
GPT-4 やその他のマルチモーダル言語モデルは、会話に画像や音声メッセージを含めるなど、新しい機能の波を見せています。
科学的成果の先に目を向けると、GPT-4 のような大規模な言語モデルがどのようなアプリケーションを提供できるかを考え始めることができます。人間にとって、大規模な言語モデルがアプリケーションに適しているかどうかを判断するための指針となるのは、その仕組みです。
他の機械学習モデルと同様、大規模な言語モデルは予測マシンです。トレーニング データのパターンに基づいて、受信した入力シーケンス内の次のトークンを予測します。これを非常に効率的に実行します。
次のトークンの予測は、テキスト生成などの特定のタスクに適したソリューションです。大規模な言語モデルを RLHF などの命令に従ってトレーニングすると、記事の執筆、テキストの要約、概念の説明、質問への回答などの言語タスクを実行でき、驚くべき結果が得られます。これは、大規模な言語モデルに対して現在利用可能な最も正確で有用なソリューションの 1 つです。
ただし、大規模な言語モデルのテキスト生成機能には依然として制限があります。大規模な言語モデルは、幻覚を起こしたり、間違ったものをでっちあげたりすることがよくあります。したがって、それらを知識源として信頼すべきではありません。これには GPT-4 が含まれます。たとえば、業界の専門家による ChatGPT の調査では、深層学習がどのように機能するかなど、複雑なトピックについて非常に雄弁に説明できる場合があることがわかりました。これは、概念を理解できない人に説明しようとするときに役に立ちましたが、ChatGPT がいくつかの事実上の誤りを犯す可能性があることもわかりました。
テキスト生成の場合、業界専門家の経験則では、よく知っていて出力が検証できるドメインの GPT-4 のみを信頼します。出力の精度を向上させる方法としては、ドメイン固有の知識を使用してモデルを微調整したり、プロンプトの前に関連情報を追加してプロンプトのコンテキストを提供したりする方法があります。しかし、繰り返しになりますが、これらの方法では、追加の知識を提供できるようにその分野について十分に知っている必要があります。したがって、健康、法的アドバイス、科学に関するテキストの生成に GPT-4 を信頼しないでください。これらのトピックをすでに知っている場合を除きます。
コード生成は、GPT-4 のもう 1 つの興味深いアプリケーションです。業界の専門家が GitHub Copilot をレビューしました。これは GPT-3 の微調整バージョンに基づいており、Codex という名前で呼ばれています。コード生成は、Copilot などの IDE に統合されるとさらに効率的になり、既存のコードをシナリオとして使用して大規模な言語モデルの出力を改善できます。ただし、同じルールが引き続き適用されます。完全に監査可能なコードを生成するには、大規模な言語モデルのみを使用してください。大規模な言語モデルを盲目的に信頼すると、機能しないコードや安全でないコードが生成される可能性があります。
一部のタスクでは、たとえ例を解決できたとしても、GPT-4 のような言語モデルは理想的なソリューションではありません。たとえば、頻繁に議論されるトピックの 1 つは、大規模な言語モデルが数学を実行する能力です。これらはさまざまな数学的ベンチマークでテストされています。 GPT-4 は、複雑な数学テストで非常に優れたパフォーマンスを発揮すると報告されています。
ただし、大規模な言語モデルは人間のように数式を段階的に計算するわけではないことに注意してください。 GPT-4 に「1 1=」というプロンプトが与えられると、人々は正しい答えを与えられます。しかし、舞台裏では「追加」や「移動」操作は行われていません。他のすべての入力と同じ行列演算を実行し、シーケンス内の次のトークンを予測します。決定論的な質問に対して確率論的な答えが得られます。 GPT-4 や他の数学的大規模言語モデルの精度がトレーニング データセットに大きく依存し、偶然に基づいて機能するのはこのためです。非常に複雑な数学の問題では驚くべき結果を達成するが、単純な初歩的な数学の問題では失敗するという人もいるかもしれません。
これは、GPT-4 が数学に役に立たないという意味ではありません。 1 つのアプローチは、大規模な言語モデルと数学的ソルバーを組み合わせるなど、モデル拡張手法を使用することです。大規模言語モデルはプロンプトから方程式データを抽出し、それをソルバーに渡し、ソルバーが計算して結果を返します。
GPT-4 のもう 1 つの興味深い使用例は、Khan Academy が行っているものです。彼らは大規模な言語モデル コースをオンライン学習プラットフォームに統合し、学習者の家庭教師や教師のアシスタントとして機能します。これは GPT-4 がリリースされたときに OpenAI が宣伝したパートナーの 1 つであるため、コースの内容に基づいて GPT-4 を微調整した可能性があります。また、モデルはプラットフォームのコンテンツとうまく統合され、シナリオを提供し、エラーを削減します。ただし、GPT-4 は数学の問題を解決するように設計されているのではなく、生徒や教師が数学の概念を学び、教えるように設計されていることは注目に値します。
ユーザーが GPT-4 が自分のアプリケーションに適しているかどうかを判断したら、製品の観点から GPT-4 を検討する必要があります。 GPT-4 によって生成される各トークンは、数千億回の操作の結果です。ユーザーが自問しなければならない最初の質問は、「私のアプリケーションにそのような計算が必要か?」ということです。実際、多くの場合、たとえ GPT-4 が完璧な答えを提供したとしても、より単純で高速で低コストのソリューションがある可能性があります。たとえば、多くの場合、情報を抽出するには正規表現などの単純なソリューションの方が効果的です。
実際、業界の専門家は ChatGPT と興味深い会話を交わし、ChatGPT に「GPT-ify」の意味を尋ねました。 ChatGPT は、これを「特定のタスクや問題に適用される、GPT (Generate Pretrained Transformer) アーキテクチャ (GPT-3 や GPT-Neo など) に基づく言語モデルのテクノロジと機能」と説明しています。 GPT-ify を使用して、GPT を必要としないことを行うために GPT を使用する人々を嘲笑することができれば。 ChatGPT は次のように答えました: 「はい、GPT-ify は確かに、誰かがそのような複雑な言語モデルを必要としないタスクや問題のために GPT を過剰に使用または乱用していることを示唆するために、皮肉または皮肉を込めて使用できます。たとえば、誰かが pre-単純な買い物リストを生成するために GPT モデルを訓練すると、誰かが「買い物リストを GPT 化した」と冗談を言うかもしれません。」
したがって、他のオプションを検討せずに製品を GPT 化しないでください。他のすべてのテクノロジーと同様に、GPT-4 は製品ツールボックスに含まれる多くのツールの 1 つと見なす必要があります。 ChatGPT がアドバイスしているように、「重要なのは、現在のタスクの特定の要件と制約に基づいて、そのジョブに適したツールを選択することです。」
以上がGPT-4 アプリケーションについて知っておく必要がある情報は何ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
