ChatGPT 特別トピック: 大規模言語モデルの機能と将来
1. 生成モデルの商用化
現在、生成 AI トラックが熱いです。 PitchBook の統計によると、生成 AI トラックは 2022 年に総額約 14 億米ドルの資金調達を受ける予定で、これは過去 5 年間の総額にほぼ達します。 OpenAI や Stability AI などのスター企業や、Jasper、Regie.AI、Replika などの新興企業はすべて資本の恩恵を受けています。
資金調達額と時期の関係図
2022 年 10 月、Stability AI は約 1 億米ドルの資金調達を受け、オープンソース モデル Stable をリリースしました。拡散は、ユーザーが入力したテキストの説明に基づいて画像を生成し、AI 絵画の分野を爆発させます。 2022 年 11 月 30 日、ChatGPT がパブリック ベータ版を発表してから 5 日後にオンラインになり、世界のユーザー数が 100 万人を超えました。サービス開始から 40 日足らずで、デイリーアクティブユーザー数は 1,000 万人を超えました。 2023 年 3 月 15 日の早朝、OpenAI は最も強力な GPT シリーズ モデル GPT-4 をリリースしました。これは、画像とテキストの入力を受け入れ、テキスト出力を生成できる大規模なマルチモーダル モデルを提供します。これは破壊的な影響を及ぼします。業界では。 2023年3月17日、MicrosoftはMicrosoft 365 Copilotカンファレンスを開催し、OpenAIのGPT-4モデルをOfficeスイートに正式に導入し、新AI機能Copilotを開始した。 PPTの作成やコピーの作成だけでなく、分析やビデオの生成も可能です。また、国内の大手メーカーもChatGPTと同様の製品の発売を発表しています。 2 月 8 日、Alibaba の専門家は、Damo Academy が ChatGPT のような会話ロボットを開発中で、テストのために社内の従業員に公開したというニュースを発表しました。 AI ラージ モデル テクノロジーと DingTalk 生産性ツールを深く組み合わせることが可能です。 2 月 8 日、JD.com の副社長、He Xiaodong 氏は率直に次のように述べました。JD.com は ChatGPT の分野で豊富なシナリオと高品質のデータを持っています。テンセントの関係筋は2月9日、「テンセントは現在、ChatGPTとAI生成コンテンツに類似した製品の計画を立てており、特別な研究も順調に進んでいる」と述べた。 NetEase は、同社の教育事業では、AI で話す教師、エッセイの採点と評価などを含む (ただしこれらに限定されない)、AI によって生成されたコンテンツを統合すると述べました。 3月16日、Baiduは大型言語モデルと生成AI製品「Wen Xin Yi Yan」を正式にリリースし、リリースから2日後に12社が最初の契約協力を完了し、Baidu Intelligent Cloud Wen Xin Yi Yan API呼び出しを申請した。テスト対象企業数は9万社に達した。
現在、大型模型は徐々に私たちの生活に浸透してきています。将来、あらゆる分野で地球を揺るがす変化が起こる可能性があります。 ChatGPT を例に挙げると、次の側面が含まれます:
- ChatGPT メディア: インテリジェントなニュース作成を実現し、ニュースの有効性を向上させることができます;
- ChatGPT 映画とテレビ: 映画をカスタマイズしますより高い評価、興行収入、口コミを獲得することで、映画やテレビの制作チームのコンテンツ作成コストが削減され、クリエイティブの効率が向上します。
- ChatGPT マーケティング: 製品マーケティングを支援する仮想顧客サービスとして機能します。例えば、24時間対応の製品紹介やオンラインサービスによるマーケティングコストの削減、顧客ニーズの迅速な把握と技術動向の把握、強力な制御性とセキュリティを備えた安定した信頼性の高いコンサルティングサービスの提供などです。
- ChatGPT エンターテイメント: リアルタイムのチャット オブジェクトで、親睦と楽しさを強化します。
- ChatGPT 教育: セルフサービスの質問を通じてギャップを迅速に確認し、埋めるための新しい教育ツールを提供します。
- ChatGPT Finance: 財務情報を実現し、金融商品を自動生成し、仮想財務アドバイザーを作成します。
- ChatGPT Medical: 患者の状態を迅速に理解し、タイムリーなフィードバックを提供して、即座に精神的なサポートを提供します。
ここでの主な議論は大規模な言語モデルの実装ですが、実際には、複数のモダリティ (オーディオ、ビデオ、画像) における他の大規模なモデルにも広範なアプリケーション シナリオがあることに注意してください。
2. 生成モデルの概要
1. 主流の大規模言語モデル: LaMDA
は Google によってリリースされています。 LaMDA モデルはトランスフォーマー フレームワークに基づいており、1,370 億のモデル パラメーターがあり、テキストで長距離の依存関係をモデル化する機能があります。モデルは会話を通じてトレーニングされます。これには主に、事前トレーニングと微調整の 2 つのプロセスが含まれます。事前トレーニング段階では、言語モデル (LM) をトレーニングの目的関数として使用し、最大 1.56T の公開会話データセットと Web ページのテキストを使用しました。つまり、目的は次の文字 (トークン) を予測することです。微調整フェーズでは、言語モデルに人間の好みを与えるために、応答の属性 (感度、安全性など) のスコアリングなどの複数のタスクを設計しました。次の図は、微調整タスクの 1 つのタイプを示しています。
2. 主流の大規模言語モデル: InstructGPT
InstructGPT モデルは GPT アーキテクチャに基づいており、主に教師あり微調整 (Supervise Fune-Tuning、SFT) とヒューマン フィードバック強化学習 (Reinforce Learning) で構成されています。 Human Fune-チューニング、RLHF)。 InstructGPT を利用した会話型製品である ChatGPT は、言語テキストの生成に重点を置いており、コードを生成して単純な数学演算を実行することもできます。特定の技術的な詳細については、前の 2 回の号で詳しく説明されているので、読者はそこにアクセスして読むことができ、ここでは繰り返しません。
InstructGPT モデル トレーニング フローチャート
3. 主流の大規模言語モデル: Cluade
Cluadeモデル トレーニング フローチャート
Cluade は、Anthropic Company の会話型製品です。 Cluade は、ChatGPT と同様、GPT フレームワークに基づいており、一方向の言語モデルです。ただし、ChatGPT とは異なり、教師あり微調整と AI フィードバックを備えた強化学習によって主にトレーニングされます。教師あり微調整段階では、まず有害情報禁止、人種偏見禁止などの一連のルール(憲法)を策定し、そのルールに基づいて教師ありデータを取得します。次に、AI に応答の品質を判断させ、強化学習用のデータセットを自動的にトレーニングさせます。
ChatGPT と比較して、Claude は不適切な要求をより明確に拒否でき、文間のつながりもより自然です。クロードは、自分の能力を超えた問題に直面したとき、喜んで声を上げます。現在、Cluade はまだ内部テスト段階にあります。ただし、Scale Sepllbook チーム メンバーの内部テスト結果によると、ChatGPT と比較して、テストされた 12 タスクのうち 8 タスクにおいてクロードの方が優れています。
3. 大規模言語モデルの機能
国内外の大規模言語モデルに関する統計、モデルの機能、オープンソースの状況などをまとめています。
国内人気大規模言語モデル
海外人気大規模言語モデル
ご覧いただけます大規模な言語モデルには、少数ショット学習、ゼロショット転送などを含む (ただしこれらに限定されない) さまざまな機能があることが判明しました。そこで、これらの能力はどのようにして得られるのでしょうか?という非常に自然な疑問が生じます。大規模な言語モデルの力はどこから来るのでしょうか?次に、上記の疑問に答えていきます。
下の図は、成熟した大規模言語モデルと進化のプロセスを示しています。要約すると、ほとんどのモデルは、事前トレーニング、命令の微調整、調整という 3 つの段階を経ます。代表的なモデルとしては、DeepmindのSparrowやOpenAIのChatGPTなどがあります。
一般的な大規模言語モデルの進化図
それでは、各ステップの背後で、モデルはどのような機能を実現できるのでしょうか?エディンバラ大学のフー・ヤオ博士は、歩数と能力の対応関係について自身の考えを要約し、私たちにインスピレーションを与えてくれました。
1. 事前トレーニング フェーズ: このフェーズの目標は、強力な基本モデルを取得することです。同様に、この段階でモデルによって実証される機能には、言語生成、コンテキスト学習機能、世界知識、推論機能などが含まれます。現段階での代表的なモデルとしてはGPT-3、PaLMなどが挙げられます。
2. 命令の微調整段階。このフェーズの目標は、いくつかの新たな能力のロックを解除することです。ここでの創発的能力とは、具体的には小型モデルにはなく、大型モデルのみが有する能力を指す。命令微調整を行ったモデルは、ベーシックモデルにはない機能を備えています。例えば、新しい命令を構築することで、モデルが新しいタスクを解決できるようになったり、思考連鎖の能力、つまり推論の過程をモデルに見せることで、モデルが正しい推論を模倣することもできるようになるなどのモデルが代表的です。 GPT、Flanなどを指示します。
アライメント段階。この段階の目標は、有益な返答を生成し、差別的な発言を生成しないなど、モデルに人間の価値観を持たせることです。アライメント段階によってモデルに「個性」が与えられると考えられます。このタイプの代表的なモデルは ChatGPT です。
大規模な言語モデルの 3 段階。この写真は「Fu Yao: 大規模言語モデルの能力の源について」から引用しました
一般に、上記の 3 つの段階は相互に補完し合い、不可欠です。十分に強力な基本モデルが事前トレーニング段階で得られた場合にのみ、命令の微調整を通じて言語モデルの他の機能を刺激 (または強化) することができます。アライメント段階では、人間社会のいくつかの要件によりよく準拠するために、モデルに特定の「特性」を与えます。
4. 生成モデルの特定
大規模言語モデル技術は利便性をもたらしますが、リスクと課題も伴います。 GPTにより生成される有害な発言等のコンテンツの信頼性は技術レベルで保証できません。使用レベルでは、ユーザーは教育や科学研究などの分野で AI が生成したテキストを悪用する可能性があります。現在、多くの企業や機関が ChatGPT の使用に制限を課し始めています。 MicrosoftとAmazonは、機密情報漏洩を恐れて企業従業員が機密データをChatGPTに共有することを禁止し、香港大学は香港大学のすべての授業、課題、評価においてChatGPTやその他の人工知能ツールの使用を禁止した。主に業界の関連作品を紹介しています。
GPTZero: GPTZero は、最も初期のテキスト生成および識別ツールです。これは、Edward Tian (米国プリンストン出身の CS 学部生) が公開するオンライン Web サイト (https://gptzero.me/) です。その原理は、特定のコンテンツを誰が書いたかを判断する指標としてテキストの複雑さ (PPL) に依存しています。このうち、パープレキシティは言語モデルの品質を評価するために使用され、本質的には文が出現する確率を計算するために使用されます。
以上がChatGPT 特別トピック: 大規模言語モデルの機能と将来の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









DALL-E 3は、前モデルより大幅に改良されたモデルとして2023年9月に正式導入されました。これは、複雑な詳細を含む画像を作成できる、これまでで最高の AI 画像ジェネレーターの 1 つと考えられています。ただし、発売当初は対象外でした

このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性を実証しています。 「S」で始まる関連研究

7月5日のこのウェブサイトのニュースによると、グローバルファウンドリーズは今年7月1日にプレスリリースを発行し、自動車とインターネットでの市場シェア拡大を目指してタゴール・テクノロジーのパワー窒化ガリウム(GaN)技術と知的財産ポートフォリオを買収したことを発表した。モノと人工知能データセンターのアプリケーション分野で、より高い効率とより優れたパフォーマンスを探求します。生成 AI などのテクノロジーがデジタル世界で発展を続ける中、窒化ガリウム (GaN) は、特にデータセンターにおいて、持続可能で効率的な電力管理のための重要なソリューションとなっています。このウェブサイトは、この買収中にタゴール・テクノロジーのエンジニアリングチームがGLOBALFOUNDRIESに加わり、窒化ガリウム技術をさらに開発するという公式発表を引用した。 G

8月1日の本サイトのニュースによると、SKハイニックスは本日(8月1日)ブログ投稿を発表し、8月6日から8日まで米国カリフォルニア州サンタクララで開催されるグローバル半導体メモリサミットFMS2024に参加すると発表し、多くの新世代の製品。フューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) の紹介。以前は主に NAND サプライヤー向けのフラッシュ メモリ サミット (FlashMemorySummit) でしたが、人工知能技術への注目の高まりを背景に、今年はフューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) に名前が変更されました。 DRAM およびストレージ ベンダー、さらに多くのプレーヤーを招待します。昨年発売された新製品SKハイニックス
