Baidu CTO 王海峰氏: 大規模言語モデルが汎用人工知能の夜明けをもたらす

北京時間 2023 年 8 月 16 日、国家深層学習技術および応用工学研究センターが主催して、WAVE SUMMIT 深層学習開発者カンファレンスが開催され、百度最高技術責任者および国家深層学習工学研究センターがこの会議に参加しました。技術応用センター所長の王海峰氏が基調講演を行った。王海峰氏は、大規模言語モデルが理解、生成、論理、記憶などの人工知能の中核となる基本機能をすでに備えており、汎用人工知能の開発に新たな希望をもたらしていると初めて公に述べた

800万人の開発者がフライングパドルを使用し、80万以上のモデルを作成しました

WAVE SUMMIT ディープラーニング開発者カンファレンスは2019年4月から開催されています。第1回会議で王海峰氏は、ディープラーニングには幅広い応用性があり、工業生産の標準化、自動化、モジュール化という特徴があり、これにより人工知能の工業化段階への参入が促進されたと指摘した。 4 年間の開発を経て、ディープラーニング技術とアプリケーションの進歩により、この観点が完全に検証されました。深層学習テクノロジーの適用範囲はますます広くなり、深層学習プラットフォームの標準化、自動化、およびモジュール化機能がますます明白になり、事前トレーニングされた大規模モデルの台頭により、人工学習の深さと幅がさらに拡大しています。インテリジェンスアプリケーション。したがって、人工知能は工業生産の段階に入りました

標準化の面では、さまざまなハードウェアに均一に適応し、アプリケーション モデルを簡素化するためにフレームワークとモデルを共同で最適化し、それによって人工知能アプリケーションの敷居を大幅に下げました。自動化の面では、システムの効率を向上させました。人工知能の研究開発プロセス全体。トレーニング、適応から推論展開まですべてが自動化されています。モジュール性の観点から、さまざまなシナリオでの人工知能の迅速な適用を促進するための豊富な産業レベルのモデル ライブラリを提供しています

Fei Paddle 産業レベルの深層学習オープンソース オープン プラットフォームと Wenxin 大型モデルは相互に促進し、Fei Paddle の生態系をより繁栄させ、800 万人の開発者を惹きつけ、22 万の企業や機関にサービスを提供し、モデルに基づいて 80 万を創出します。フライングオール。王海峰氏は、フライングパドル開発者コミュニティAIスタジオ「銀河コミュニティ」の中国名「文心とフライングパドルが組み合わさって、一緒に銀河に入る」という深い意味を説明した。 Fei Piao と Wen Xin の指導の下、私たちはすべての開発者と協力して Galaxy コミュニティを構築し、汎用人工知能の無限の可能性を共同で探索します。

大規模言語モデルは汎用人工知能に新たな希望をもたらす

王海峰氏は、汎用人工知能の中核となる基本機能には理解、生成、論理、記憶が含まれており、大規模言語モデルにはこれら4つの機能があり、汎用人工知能の実現に希望をもたらすと考えています。

具体的には、創造、プログラミング、問題解決、計画などの人工知能の典型的な能力は、依存度は異なるものの、理解、生成、論理、記憶などの中核となる基本能力に基づいています。たとえば、問題解決のプロセスでは、問題を読み、問題を解き、最終的に答えを書くまで、理解力、記憶力、論理力、および生成力を総合的に使用する必要があります。

これらの能力を取得するにはどうすればよいですか? Wen Xinyiyan を例に挙げると、まず、数兆のデータと数千億の知識の融合学習を通じて、大規模な事前トレーニング済みモデルをトレーニングします。その後、教師あり微調整、人間のフィードバックによる強化学習、プロンプトなどの手法を使用してさらに最適化されます。さらに、このモデルには、知識の強化、検索の強化、対話の強化などの技術的な利点もあります。

複数の戦略、基本モデルの長文モデリング、複数タイプおよび複数ステージの教師あり微調整、マルチタスク適応型教師あり微調整、および複数レベルおよび複数粒度を通じて、データ ソースとデータ分散を最適化します。報酬モデルおよびその他のテクノロジー 基本的な一般的な機能を革新し、包括的に向上させます。検索の強化と知識の強化に基づいて、知識ポイントの強化を通じて世界の知識を習得および適用する能力が向上し、大規模な論理データ、論理知識モデリング、多粒度の意味論的知識の組み合わせ、およびシンボリックニューラルの構築によって論理能力が向上します。ネットワーク; データ、コンテンツ、モデル、システム セキュリティを含む包括的なセキュリティ システムを構築することで、大規模モデルのセキュリティを確保します

Fei Paddle のエンドツーエンドの適応型ハイブリッド並列トレーニング テクノロジーと、連携して最適化された圧縮、推論、サービス展開により、Wenxin 大型モデルのトレーニング速度は 3 倍、推論速度はさらに向上しました。 30回以上

データ主導の迅速な構築とプラグインの強化を通じて、アプリケーションのシーン適応と協調的な最適化を実行しました。 Wen Xin Yi Yan、Baidu Search、Browsing Documents、E Yan Yi Tu、Shuo Tu Jie Hua、Yijing Liuying の 5 つのプラグインをリリースしました。これらのプラグインを使用すると、モデルでリアルタイムの正確な情報、長文の要約と Q&A、データの洞察とグラフの作成、画像ベースの作成と Q&A、および Vincent ビデオを生成できるようになります。プラグイン メカニズムの導入により、大規模モデルの機能境界が拡張され、さまざまなシナリオのニーズをより適切に満たすことができます。王海峰氏は、百度は将来、開発者と協力してプラグインエコシステムを構築し、技術革新の結果を共有する予定であると述べた。

大規模な言語モデルに代表される人工知能は何千もの産業に浸透しており、産業のアップグレードと経済成長を加速しています。このプロセスでは、技術革新とアプリケーションの実装が好循環を形成し、理解、生成、論理、記憶などの能力が向上し続け、産業アプリケーションの幅と深さが拡大し続けています。大規模な言語モデルは、一般社会に新たな希望をもたらします。人工知能。

以上がBaidu CTO 王海峰氏: 大規模言語モデルが汎用人工知能の夜明けをもたらすの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。