Zhipu AI、パフォーマンスにおける包括的な進歩を備えた第 3 世代の大型ベース モデル ChatGLM3 を発売

2023 年 10 月 27 日、Zhipu AI は、2023 中国コンピュータ会議 (CNCC) で、完全に自社開発した第 3 世代のベース モデル ChatGLM3 と関連製品シリーズを発表しました Yibase の対話モデル ChatGLM および ChatGLM2 に続く、もう 1 つの大きな進歩です。今回発売するChatGLM3は、独自の多段階強化事前学習方式を採用し、より充実した学習を実現します。評価によると、中国語と英語の 44 件の公開データセット テストにおいて、ChatGLM3 は国内の同サイズのモデルの中で第 1 位にランクされました。 Zhipu AI の CEO、Zhang Peng 氏は、現場で新製品を発表し、最新の製品機能をリアルタイムでデモンストレーションしました。

ChatGLM3 の新しいテクノロジーのアップグレードにより、パフォーマンスが向上し、コストが削減されます

より豊富なトレーニング データとより優れたトレーニング ソリューションにより、Zhipu AI によって起動された ChatGLM3 のパフォーマンスはさらに強力になりました。 ChatGLM2 と比較すると、MMLU は 36%、CEval は 33%、GSM8K は 179%、BBH は 126% 増加しています。

同時に、ChatGLM3 は GPT-4V を目指しており、マルチモーダル理解機能 - 画像認識セマンティクスを備えた CogVLM など、いくつかの新機能の反復アップグレードを実装しました。これにより、10 を超える国際標準の画像とテキストで SOTA を達成しました。 ; コード拡張モジュール コード インタープリターは、ユーザーのニーズに応じてコードを生成して実行し、データ分析やファイル処理などの複雑なタスクを自動的に完了します; Web 検索の拡張 WebGLM アクセス検索の拡張により、インターネット上の関連情報を自動的に検索できます。質問し、回答するときに回答を提供します。関連する文献または記事のリンクを参照してください。 ChatGLM3 のセマンティックおよび論理機能が大幅に強化されました。

ChatGLM3 は、自社開発の AgentTuning テクノロジも統合し、特にインテリジェントな計画と実行の点でモデル エージェント機能を有効にし、ChatGLM2 と比較して 1000% 向上しています。また、国内の大規模モデルがツール呼び出し、コード実行、ゲーム、データベース操作、ナレッジ グラフの検索と推論、オペレーティング システムなどの複雑なシナリオ。

さらに、ChatGLM3 は今回、携帯電話に導入できるエンド テスト モデル ChatGLM3-1.5B および ChatGLM3-3B を発売し、vivo、Xiaomi、Samsung などのさまざまな携帯電話および車両プラットフォームをサポートし、CPU もサポートします。モバイル プラットフォーム上のチップ推論速度は 20 トークン/秒に達します。精度の点では、1.5B および 3B モデルのパフォーマンスは、公開ベンチマークにおける ChatGLM2-6B モデルのパフォーマンスに近いです。

最新の効率的な動的推論およびメモリ最適化テクノロジに基づいて、ChatGLM3 の現在の推論フレームワークは、バークレー大学によって開始された vLLM および最新バージョンを含む、同じハードウェアおよびモデル条件下での現在の最良のオープンソース実装よりも優れています。 Hugging Face TGI の推論速度は 2 ～ 3 倍に向上し、推論コストは 2 倍になり、トークン 1000 個あたりわずか 0.5 ポイントと最低コストになります。

中国初のコードインタラクション機能となる新世代の「Zhipu Qingyan」が発売されました

新しくアップグレードされた ChatGLM3 によって強化された生成 AI アシスタント Zhipu Qingyan は、コード対話機能を備えた初の国内大型モデル製品 (コード インタープリター) になりました (https://chatglm.cn/main/code)。

「コード」機能は現在、画像処理、数学的計算、データ分析、その他の使用シナリオをサポートしています。以下は次のとおりです:

§ データを処理してグラフを生成する

§ グラフィックスを描画するコード

§ SQL コード分析をアップロードする

WebGLM の大規模モデル機能の追加により、Zhipu Qingyan には検索拡張機能も備わっており、ユーザーがオンライン文献や関連する質問の記事リンクを整理し、回答を直接提供するのに役立ちます。

以前にリリースされた CogVLM モデルは、Zhipu Qingyan の中国語の画像とテキストの理解能力を向上させ、GPT-4V に近い画像理解能力を実現しました。さまざまな種類の視覚的な質問に答え、複雑な目標を達成できます。検出とラベル付けにより、自動データ アノテーションが完了します。 。

2022 年の初め以来、Zhipu AI によって発売された GLM シリーズ モデルは、Ascend、Sunway Supercomputing、Haiguang DCU アーキテクチャでの大規模な事前トレーニングと推論をサポートしてきました。これまで、Zhipu AI の製品は、Ascend、Sunway スーパーコンピューター、Haiguang DCU、Haifike、Muxixiyun、Computing Technology、Tianshu Intelligent Core、Cambrian、Moore Thread、Baidu Kunlun Core、Lingxi Technology、Great を含む 10 以上の国内ハードウェア エコシステムをサポートしてきました。壁朝雲など。国内チップ企業との共同イノベーションを通じて、パフォーマンスを継続的に最適化することで、国内ネイティブの大型モデルや国産チップができるだけ早く国際舞台に参入できるよう支援します。

Zhipu AI が発売した ChatGLM3 および関連製品シリーズは、モデルのパフォーマンスを包括的に向上させ、業界向けによりオープンなオープンソース エコシステムを構築し、一般ユーザーが AIGC 製品を使用する敷居をさらに下げました。 AIは私たちを新たな時代へと導いており、大型モデルは間違いなくその瞬間の到来を加速させます。

以上がZhipu AI、パフォーマンスにおける包括的な進歩を備えた第 3 世代の大型ベース モデル ChatGLM3 を発売の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。