新しいKunlun Wanwei「Tiangong」13Bシリーズの大型モデルは、敷居なく簡単に商品化できます。-AI-php.cn

10 月 30 日、Kunlun Wanwei は、オープンソース 数百億の大規模言語モデル「Tiangong」シリーズ Skywork-13B シリーズを発表し、一致するシリーズをオープンソース化することはほとんどありませんでした。 600GB、150B トークン # の超大規模で高品質なオープンソースの中国のデータセット。

Kunlun Wanwei の「Tiangong」Skywork-13B シリーズには、現在 130 億のパラメーターを備えた 2 つの主要なモデルが含まれています: Skywork-13B-Base モデル、 Skywork-13B-Mathmodel では、CEVAL や GSM8K などの複数の信頼できる評価やベンチマークテストで、同じサイズのモデルの中で 最高のモデルであることが示されています。効果は で、その 中国語能力 は特に優れており、中国のテクノロジー、金融、政務などの分野での実績は他のオープンソースモデルよりも高いです。

Skywork-13B (モデルスコープ) のダウンロードアドレスは、https://modelscope.cn/organization/skywork

Skywork-13B のダウンロードアドレス (Github): https:/ で入手できます。 /github.com/SkyworkAI/Skywork

オープンソースモデルに加えて、Skywork-13B シリーズの大規模モデルもオープンソースになります。 600GB 、150B トークン の高品質中国語コーパスデータセットSkypile/ Chinese-Web-Text -150B、これは現在利用可能な最大のオープンソース中国語データセットの 1 つです。

同時に、Kunlun Wanwei の「Skywork-13B」Skywork-13B シリーズの大型モデルが間もなく完全に商用化されます。 use#— —開発者は申請なしで商用利用できます。

130 億のパラメータ、2 つの主要なモデル、中国最大のデータセットの 1 つが商業利用に完全にオープンです。

Kunlun Wanwei "Tiangong"Skywork-13B シリーズの大型モデルは、業界で最も完全なオープンソースの数百億の高品質商用モデルと言えます。

Skywork-13B シリーズの大型モデルのオープンソースは、大型モデルのアプリケーションとオープンソースコミュニティの開発に最適な技術サポートを提供し、大型モデルの商業的敷居を下げます。さまざまな業界への人工知能技術の導入を促進し、人工知能エコシステムの構築に貢献し、オープンソースコミュニティと協力して未知の世界を開拓し、より良い未来を創造していきます。 #二大モデル

業界をリードするKunlun Wanweiの「Tiangong」Skywork-13Bシリーズには、2つの主要モデルと150Bの高品質中国語データセットが含まれています。

Skywork-13B-Base

このモデルは Skywork-13B の基本モデルであり、3 兆 2,000 億の多言語高品質データによって学習されており、CEVAL で利用可能です。 CMMLU、MMLU、GSM8K 評価およびベンチマークテストでは、同じサイズのモデルで最良の結果が得られました。

Skywork-13B-Mathこのモデルは、特殊な数学的能力強化トレーニングを受けており、GSM8K などのデータセット上の同じサイズのモデルの中で最高の結果を達成しています。
Skypile/中国語 Web テキスト-150Bデータセット。このデータセットは、慎重にフィルタリングされたデータ処理プロセスに従って中国の Web ページからフィルタリングされた高品質のデータです。
600GB で、トークンの総数は約 ( 1500 億) は、現在最大のオープンソース中国データセットの 1 つです。 さらに、Skywork-13B シリーズでは、モデルで使用された評価方法、データ比率の調査、トレーニングインフラストラクチャの最適化計画も公開されており、これらのオープンソースコンテンツが活用できることが期待されています。大規模モデルの事前トレーニングに対するコミュニティの理解をさらに促進し、汎用人工知能 (AGI) の実現を促進します。

5 つの特徴

包括的な超越性Kunlun Wanwei の「Tiangong」Skywork-13B シリーズ大型モデルは、CEVAL や GSM8K などの複数の信頼できる評価やベンチマークテストにおいて、特に中国語能力において、同サイズのモデルの中で最高の結果を実証しました。そのパフォーマンスは、中国のテクノロジー、金融、政府事務などの分野における他のオープンソースモデルよりも優れています。 Skywork-13Bシリーズの5つの特長

同サイズの大型機種を総合的に上回る最強のパラメータ性能

このオープンソース Skywork-13B シリーズモデルは、CEVAL、CMMLU、MMLU、GSM8K などのいくつかの信頼できる評価ベンチマークにおいて、LLaMA2-13B などの大規模なオープンソースモデルを包括的に上回り、同規模の大規模モデルの中で最高の結果を達成しています。。 (10 月 25 日時点のデータ)

ほとんどのトレーニングデータ: 新しいKunlun Wanwei「Tiangong」13Bシリーズの大型モデルは、敷居なく簡単に商品化できます。

3.2T

高品質な多言語トレーニングデータSkywork-13B シリーズの大規模モデルには、130 億のパラメータと 3 兆 2000 億の高品質の多言語トレーニングデータがあります。モデルの生成能力、創造能力、数学的推論能力が大幅に向上しました。

最強の中国語モデリング機能: すべての中国語オープンソースモデルを上回る中国語モデリングの複雑さ評価

Skywork-13B シリーズ大型モデルは中国語モデリングに優れ、優れた中国語を備えています。文化的および創造的な能力。 Skywork-13Bシリーズの大型モデルは、中国語文章作成分野での評価において、特にテクノロジー、金融、行政、企業サービス、文化創造、ゲームなどの分野で優れた能力を発揮し、その性能は高く評価されています。他のオープンソースモデルよりも優れています

この図は、さまざまなデータフィールドでの評価モデルの混乱を示しています。値が低いほど、モデルのモデリング能力が高くなります。そのフィールド。結果は、Tiangong 13B が技術記事、映画、政府報告書、ゲーム、金融、および一般分野で良好なパフォーマンスを示していることを示しています。

#中国最大のオープンソースデータセットの 1 つ:150B トークン高品質の中国語コーパス
Skywork-13B シリーズには、オープンソースの 600GB、150B トークンの高品質中国語コーパスデータセット Skypile/中国語が搭載されます。 Web-Text-150B は、オープンソースの中国語データセットの中で現在最大のデータセットの 1 つです。開発者は、大規模モデルの事前トレーニングプロセスと技術レポートの経験を最大限に活用し、モデルパラメーターを詳細にカスタマイズし、ターゲットを絞ったトレーニングと最適化を実施できます。

最も誠実なオープンソースの商業利用: 申請する必要はなく、商業利用を実現できます
現在、オープンソースコミュニティでは、ほとんどの中国モデルが完全に利用可能ではありません。商用利用が可能です。通常、オープンソースコミュニティのユーザーは、面倒な商用ライセンスの申請プロセスを経る必要があります。場合によっては、企業の規模、業界、ユーザー数などによって商用ライセンスの発行が明確に規定される場合があり、Kunlun Wanwei のオープンソースである Skywork-13B シリーズへのオープン性とアクセシビリティは承認されません。商業化、認可プロセスの簡素化、業界、企業規模、ユーザーなどの制限の解除を行います。その目的は、中国の大型モデルに興味のあるより多くのユーザーと企業が業界での探索と進歩を継続できるように支援することです。
Skywork-13Bシリーズの大型モデルは商業利用が完全にライセンスされており、ユーザーはモデルをダウンロードし、「Skyworkモデルコミュニティライセンス契約」に同意し遵守するだけでよく、申請する必要はありません。商業目的で大型モデルを使用する許可を再び求めます。私たちは、ユーザーが Skywork-13B シリーズの大規模モデルの技術的機能をより簡単に探索し、さまざまなシナリオで商用アプリケーションを探索できることを願っています。

オープンソースエコシステムの繁栄を促進し、より多くの開発者が参加できるようにします。
##AIGC
の技術開発において、共創と共有を通じて技術向上を推進します。 AI 時代では、オープンソースのエコロジー構築がブームになっており、AI とアプリケーションの統合を実現するための重要なリンクとなっています。モデル開発と使用コストの敷居を下げ、技術的能力と経験を最大限に共有することで、より多くの企業や開発者がAI主導の技術変化に参加できるようになります。 Kunlun Wanwei の会長兼 CEO である Fang Han は、オープンソースエコシステムの構築に最初に参加した上級オープンソースエキスパートの 1 人であり、中国 Linux オープンソースの先駆者の 1 人でもあります。オープンソースの精神と AIGC テクノロジーの開発は、Kunlun Wanwei の戦略に完全に統合されます
すべてが AGI
と
#AIGC Kunlun Wanwei の戦略には、AGI および AIGC との協力が含まれます4 月 17 日、Kunlun Wanwei は、インテリジェンスの出現を真に実現する中国初の国産大規模言語モデル「Tiangong 3.5」をリリースし、招待を開始しました。テスト。
5月19日、北京市経済情報局は「北京総合人工知能産業イノベーションパートナーシッププログラムメンバーリスト」の第1弾を発表した。 Kunlun Wanwei は、AIGC 分野における最先端の探査および投資レイアウトを備えたモデルパートナーおよび投資パートナーの最初のグループとなりました。
8月23日、クンルン・ワンウェイは、Tiangong AI Searchという初の国内AI検索製品をリリースしました。
9月1日、クンルン・ワンウェイは、コンピュータ・ビジョンの分野で世界トップのAI検索製品をリリースし、機械学習の専門家である厳水成教授は、崑崙技術に正式に入社し、崑崙技術の創始者周亜輝氏とともに天宮知能の共同CEOを務め、最先端の研究を担当する崑崙技術2050グローバル研究所の所長も務めた。テクノロジー。
Tencent Youtu Lab と厦門大学が実施したマルチモーダル大規模言語モデルの評価において、9 月 5 日に Kunlun Wanwei Tiangong Large Model が総合スコアで初の総合スコアを獲得しました
9 月 25 日、Kunlun Wanwei はAijie Coreを正式に管理し、AIチップを配置しました。
本日、Kunlun Wanwei Groupは、Tiangong Skywork-13Bシリーズ大型モデルのオープンソースアクションを通じて、人工知能エコシステムへの投資を継続するという固い決意を示しました

Kunlun Wanwei Groupの紹介

2008 年、崑崙万偉は設立されました。 2015 年に同社は深セン証券取引所に上場しました。ゲーム分野からスタートし、現在ではAII In AGIやAIGCなど多角的な事業を統合する企業となっています。 Kunlun Wanwei は 10 年以上の開発を経て、世界のユーザーに最先端のインターネット製品とサービスを提供することに尽力してきました。現在、同社は人工知能の分野における無限の可能性を積極的に模索しています。現在、崑崙万偉はAGIとAIGC、海外情報配信とメタバース、投資という3大事業分野を徐々に構築しており、その事業範囲は世界100以上の国と地域に及び、全世界平均月間アクティブユーザー数は4億人近くに達している。

憑藉對科技發展趨勢的超前預判，崑崙萬維早在2020年便已開始佈局AIGC領域。至今，已累積近三年的相關工程研發經驗，並建立了業界領先的預訓練資料深度處理能力，崑崙萬維也在人工智慧領域取得了重大突破，目前已形成AI大模型、AI搜尋、AI遊戲、AI音樂、AI動漫、AI社交六大AI業務矩陣，是國內模型技術與工程能力最強，佈局最全面，同時全心投入開源社群建設的企業之一。

以上が新しいKunlun Wanwei「Tiangong」13Bシリーズの大型モデルは、敷居なく簡単に商品化できます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。