蘭州氏はあらゆる努力をすることを主張します: ToB シーンを実装するには、10B パラメータを持つ大規模なモデルで十分です

焦点、完璧さ、評判、スピード、コスト。

Zhou Ming は Lanzhou Technology の創設者兼 CEO であり、Lei Jun のインターネット用の「7 文字ルール」に基づいて、次の単語を追加した「大規模モデル実装のための 9 文字ルール」を提案しました。 "料金"。 。

同氏は、2024年を大型モデル発売元年と称したが、同時に、どこにでも金があるという意味ではないとも断言した。

大規模モデルの具体的な実装に関しては、周明氏は自身が率いる大規模モデル起業家チーム蘭州科技で模範を示しました。蘭州の「水平 1 垂直」システムを使用し、孟子の大型モデルを採用しました。基本的な、シナリオ指向の製品リリース。

一言で言えば「技術」と「応用」の両輪であり、最先端技術の研究・習得を積極的に行いながら、その技術を効果的に応用することに取り組んでいます。

3月18日、蘭州の大型模型技術と製品の発表に際し、蘭州科技はZero One Wishと戦略的協力契約を締結した。

現場では、Sinovation Ventures の会長で Zero-One Everything の CEO である Kai-fu Lee 氏が、世界最高の大規模モデル インテリジェンスはすでに確立されていると語った。つまり、平均的な人は 100 問中 33 問しか正解できませんが、最高の大規模 AI モデルは 99 以上の質問に正解できます。

彼は、AI 2.0 時代の将来における 4 つの主要なトレンドを期待していました。

最も革新的な AI 2.0 アプリケーションは、AI ファースト / AI ネイティブであるべきです。最終的に目立つのは、新しいテクノロジーの先駆者として全力を尽くす勇気のある人たちです。大規模な言語モデルの導入により、AI-First アプリケーションに大きな推進力がもたらされました。

大規模モデルはテキストから始まり、将来的には「すべてのモード」に拡張される予定です。クロスモーダル生成テクノロジは、認知および意思決定インテリジェンスを実現するためのターニングポイントです。現実世界の情報は、テキスト、音声、視覚、センサー、人間のさまざまな触覚などの総合的なシステムであり、現実世界をより正確にシミュレートするには、テキスト-画像、テキスト-画像などのさまざまなモーダル機能を開放する必要があります。ビデオおよびその他のクロスモーダル システム、モーダルまたはフルモーダルの包括的な機能。

AI 2.0 は、会話を超えて、チャット ツールからスマートな生産性向上ツールまで、ユーザー エクスペリエンスだけでなく、将来のインタラクティブ インターフェイスやビジネス モデルも大きく変化します。

AI 2.0 は物理的なものとなり、社会の生産性を大幅に向上させます。身体化されたインテリジェンスにより、ロボットによるロボットの製造が可能になり、AI 2.0 生産ラインのインテリジェントな計画がさらに実現されます。

10B-100Bパラメータ大型モデルの研究開発に注力

蘭州科技は2021年6月に設立されました。中国で大型モデル事業を開始した最初のチームの1つです。

昨年 3 月に蘭州市は Mencius GPT V1 (MChat) をリリースし、今年 1 月には Mencius 大型モデル GPT V2 (Mencius 大型モデル - 標準、Mencius 大型モデル - 軽量、Mencius 大型モデル - 金融、孟子の大モデル - エンコーディング）が公開されています。

最近、蘭州チームはMengzi3-13Bの大型模型訓練を完了しました。

もう 1 つ、Mencius の大規模モデル トレーニングの背後に大きな貢献者がいます。それは、Web を含む合計サイズ 3T トークンの Mengzi-3 データ セットです。ページ、コード、書籍、論文、およびその他の高品質のデータ ソース。

報道によると、今月末 (3 月 30 日) に、Mengzi3-13B モデルが GitHub、HuggingFace、Moda、Shizhi AI コミュニティでオープンソース化される予定です。

オープンソースのMenciusモデルのバージョンが13Bなのはなぜですか?周明氏はこの質問に真っ向から答えた。

まず第一に、蘭州は ToC によって補完される ToB シナリオの提供に明らかに重点を置いています。

実践の結果、ToB シナリオで最も頻繁に使用される大規模モデルのパラメーターは、ほとんどが 7B、13B、40B、および 100B であり、全体のパラメーターは 10B ～ 100B の間に集中していることがわかりました。

第二に、この範囲内では、ROI の観点から、現場のニーズを満たすだけでなく、最も費用対効果が高いことになります。

したがって、長い間、蘭州市の目標は、10B ～ 100B のパラメーター スケール内で大規模なインダストリ モデルを構築することでした。これでは、なぜ 13B がオープンソース バージョンに選ばれたのかを理解するのが難しくなります。

周明氏は、彼自身も実際にはスケーリングの法則を信じているが、起業家精神は科学研究とは異なると説明しました。

「第一に、このサイズの大きなモデルはすでに問題の 80% を解決できます。第二に、チームにとって比較的安定しており、拡大し続けるモデル規模の競争によって落ち着くことがありません。」 Zhou 氏Ming He 氏は、このように冷静に考えることでコストを適切に管理し、GPU のコンピューティング能力、データ、人材をめぐる不必要な競争を回避できると付け加えました。

「1横N縦」システム

記者会見で蘭州市は独自の1横N縦システムを発表した。

「Yiheng」はモデル層であり、孟子のラージモデルテクノロジーに基づいて開発された各モデルです。

「N バーティカル」は、孟子のラージモデルテクノロジーに基づいた ToB アプリケーションにとって最も重要なテクノロジーです。モデルと製品。

蘭州市は現在、金融業界、補助プログラミング、その他の分野に注力しており、より包括的で専門的かつ高品質なフィールドデータを通じて、業界のシナリオにより近い大規模な垂直モデルの作成を目指していると理解されています。

孟子の GPT 一般モデルの「One Horizo​​n」に基づいて、Lanzhou Technology のパートナー兼最高製品責任者である Li Jingmei 氏は、蘭州のアプリケーション対応製品を紹介しました。

AI ドキュメント理解: プロフェッショナルな PDF ドキュメント解析機能と情報抽出機能をカバーし、RAG ソリューションにおけるドキュメント理解のためのより優れた基本機能を提供します;

AI ドキュメント Q&A: 企業が提供するソリューションのニーズに基づく民営化された企業のインテリジェントな知識ベース構築のための機能;

AI ドキュメント支援ライティング: ユーザーが複数のドキュメントを参考資料としてアップロードできるようにサポートし、カスタマイズされたマルチレベルの質問とアウトラインの作成をサポートし、大規模なモデルで構成されています。必要に応じて記事の完全な初稿を生成;

機械翻訳プラットフォーム: 中国語を中心とした世界の主要言語間の翻訳と 20 以上の分野の専門翻訳に焦点を当てます;

LAN Zhouzhihui:会議内容のインテリジェントな分析と質疑応答に焦点を当てた製品で、大規模モデルに基づいて構築された、大規模モデル ネイティブのインテリジェントな会議アシスタントです。

蘭州 AI 検索: 大規模言語時代の検索エンジンモデル。

この1年、大型模型の分野は日々変化してきました。

OpenAI がやっていることは何でもやります。短期的には問題ありませんが、長期的には問題ありません。私たちは独自の革新的なアイデアを持たなければなりません。

周明氏は、長所を最大限に活かして短所を回避し、独自の革新の道を見つける方法についての見解を表明しました。

最も重要な最初のステップは、会社が明確なポジショニングを持つことです。蘭州科技の位置づけは、中国の他の大型モデル新興企業とは大きく異なる。

同氏は例を挙げ、蘭州は「大規模テクノロジーエンタープライズシナリオアプリケーション」の総合企業として位置付けており、「技術的な観点からアプリケーションを最もよく理解し、アプリケーションの観点からテクノロジーを最もよく理解できるようにしたいと考えています。同時に、テクノロジーとアプリケーションがエコロジカルな関係を形成し、双方が迅速に反復できるようにしたいと考えています。」

同時に、実装に焦点を当てて実装することも依然として必要です。実装を通じて価値を創造します。そしてイノベーションを推進します。

そして、イノベーションと実装は相互に補完し合うことに注意する必要があります。

やみくもに革新したり、やみくもに実装したりせず、この 2 つを結び付けて迅速に反復できるようにします。

最後に、周明さんも心から彼に思い出させました:

今年は大型モデルが発売される最初の年なので、どこにでも金がありますよね？いいえ、責任を持って言えますが、私たちは多くの場所を探索したわけではありません。

たとえば、大規模なモデルを着陸させる最後の 1 マイルをどのように解決するか?ビッグモデルのビジネスモデルは何ですか？配送能力を強化するにはどうすればよいでしょうか?製品の商品化を改善するにはどうすればよいでしょうか?

大規模モデルの実装は、実際にはまだ始まったばかりです。

## 著者に連絡する —

#

以上が蘭州氏はあらゆる努力をすることを主張します: ToB シーンを実装するには、10B パラメータを持つ大規模なモデルで十分ですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。