最近、あるデータが AI 分野におけるコンピューティング能力の需要の驚くべき伸びを指摘しています -
業界専門家の推定によると、OpenAI が立ち上げた Sora には約 4200 の計算能力が必要ですZhang NVIDIA H100 でのトレーニングには 10500 か月かかり、モデルが推論段階まで生成されると、コンピューティング コストはすぐにトレーニング段階を超えます。
この傾向が続くと、GPU の供給が大型モデルに対する継続的な需要を満たすことが困難になる可能性があります。
しかし、最近海外では、今後起こる「コンピューティング能力不足」に対する新たな解決策となる可能性のある、分散型AIという新たなトレンドが見られます。
3 週間前の 3 月 23 日、Stability AI は突然、同社 CEO の Emad Mostaque 氏の辞任を発表しました。エマド・モスタク氏自身が、「分散型 AI の夢」を追求するための次の動きを明らかにしました。
しかし、分散型ネットワークの不確実性や不安定性などの技術的な問題点を解決するのが難しいため、分散型 AI の最後の波を大規模モデルの時代に真に実装することは困難です。
最近、Qubits は、海外でビジネスを開始した清華チームが分散型 AI に焦点を当て、NetMind.AI を作成したことを発見しました。 2023 年、NetMind は、分散型コンピューティング能力共有プラットフォーム NetMind Power について詳しく説明したホワイト ペーパーをリリースしました。このプラットフォームは、大規模モデルの時代における分散型 AI の問題点を解決することを目的としています。
2021 年 9 月、NetMind.AI は NetMind Power と呼ばれる分散型コンピューティング プラットフォーム プロジェクトを立ち上げました。
世界には、従来のデータ センターで購入されたコンピューティング パワー、中小企業が所有する十分に活用されていないコンピューティング パワー、個人が所有する分散した GPU など、大量の購入コンピューティング パワーが存在します。これらのコンピューティング能力はアイドル状態であるか、ゲームやビデオのレンダリングに使用されます。同時に、AI コンピューティング能力はますます不足しており、AI 研究者、中小企業、特に AI スタートアップ企業、および AI プロジェクトに参加している従来型企業はすべて、AI コンピューティング能力の高コストと敷居の高さに囚われています。
NetMind Power は、NetMind が開発したコア テクノロジーを利用して集中化専用のコンピューティング ネットワークを構築し、グローバル コンピューティング リソースを活用し、AI 業界に使いやすく手頃な価格の AI コンピューティング サービスを提供します。
△NetMind Power は、コンピューティング パワーを取得するための経済的な選択肢であり、ユーザーに効率的で手頃なコンピューティング リソース ソリューションを提供します。
現在、NetMind Power は、H100、A100、4090、3090 を含む数千枚のグラフィックス カードを収集しています。
プラットフォームの 4 つのハイライト:
1. 分散型動的クラスター - 非常に不確実なコンピューティング能力に基づいて、信頼性が高く効率的な AI アプリケーションを作成します。
パワー プラットフォーム P2P ベースの動的分散を利用します。クラスター テクノロジーは、独自のルーティング、クラスタリング アルゴリズム、ニューラル ネットワークと組み合わせて、数千のコンピューティング ノードを強力なネットワーク クラスター アーキテクチャに組み込んで、特に AI アプリケーションなどの高レベルのニーズに対応します。
ユーザーが Power プラットフォーム上でモデルのトレーニング、微調整、推論などの AI 関連の操作を実行すると、Power の分散ネットワークは非常に短時間で世界中のコンピューティング ノードのパフォーマンスを最適化できます。ユーザーにサービスを提供するために最も適切なコンピューティング リソースを迅速に割り当てます。
同時に、Power は B サイド ユーザー向けに動的クラスター戦略を提供します。これにより、数秒でノードをインテリジェントに再編成および構成でき、カスタマイズ可能でスケーラビリティが高く、冗長性の高い排他的クラスターが提供されます。
2. 完全な AI エコシステム: コンピューティング電力使用量のしきい値を下げ、分散型ネットワーク アプリケーション シナリオを拡張します
NetMind の AI 分野での長年の蓄積により、Power Network は基本的なコンピューティング電力サービスを提供します。に加えて、オープンソース モデル ライブラリ、AI データ セット、データとモデルの暗号化などの AI エコロジカル ベース、およびモデルのトレーニング、推論、デプロイメントなどのオールラウンド サービスも含まれ、MaaS (Model as a Service) プラットフォームは、コンピューティングパワープロバイダーに AI アプリケーション側の双方を強化する機能を提供します。
科学研究者、AI 分野の中小企業、従来型企業向けの AI プロジェクトをターゲットとした Power の MaaS プラットフォームは、特に中小企業にとって、コンピューティング パワーを使用するための敷居を大幅に下げます。専門的な AI 開発能力を持たない規模の企業や従来型の企業にとって、これは特に重要です。
従来のコンピューティング電源プロバイダーの場合、電源ネットワークの助けを借りて、より多くのユーザーにアクセスできます。さらに、Power の MaaS プラットフォームの助けを借りて、アプリケーション シナリオを拡張し、より高い利益を得ることができます。このようにして、Power Network は、従来の中小規模の集中型コンピューティング能力を分散型コンピューティング能力ネットワークに組み込むことができ、それによってネットワークの規模を大幅に拡大できます。
3. 非同期トレーニング アルゴリズム - ネットワークのボトルネックを解決し、アイドル状態のコンピューティング能力の可能性を活用します。
現在の機械学習分野、特に大規模な言語モデルのトレーニングでは、通常、専用の GPU ケーブルまたは高帯域幅の内部ネットワークを介して GPU 間の同期分散トレーニングを実現する必要があり、必然的にトレーニングの複雑さが増大します。しきい値とコスト。
NetMind Power は、自社開発のモデル セグメンテーションとデータ非同期テクノロジーにより、分散トレーニングにおけるネットワーク速度と帯域幅の壁を打ち破り、地球のさまざまな場所に分散しているトレーニング ノードでも、大規模なモデル トレーニング作業を同期的に行うことができます。 。
4. モデル暗号化とデータ分離 - 分散型ネットワークにおけるセキュリティ問題の解決
Power は、分散型ボランティア コンピューティング シナリオにおいて、AI モデルとユーザーのデータ セキュリティを確保するための独自のモデル暗号化テクノロジを提供します。すべてのネットワーク通信はデータ送信のセキュリティを確保するために暗号化されており、データの分離とモデルの分割により、分散ネットワーク内の単一のノードが完全なデータとモデルを取得できないことが保証され、セキュリティが大幅に向上します。
写真
NetMindのコアチーム。 AIは清華大学出身で、10年以上AI分野に取り組んでいます。
同社の創設者兼 CEO の Kai Zou は、2010 年に清華大学の数学と物理学の基礎科学クラスを卒業し、2013 年にジョージタウン大学で数学と統計の修士号を取得しました。
彼は、ProtagoLabs と非営利団体 AGI Odyssey の両方を率いてきた連続起業家です。同時に、彼はエンジェル投資家でもあり、Haiper.ai、Auto Edge、Qdot、Orbit などの多くの AI スタートアップに投資しています。
Kai Zou と OpenAI 研究者の Jason Wei が発表した論文「EDA: Easy Data Augmentation Techniques for Boosting Performance on Textclassification Tasks」は 2,000 回以上引用されていることは注目に値します。 CEO と彼のチームは、自分たちが構築したプラットフォームが、実際に学術研究を行う学者や AI の開発を推進する企業のエンジニアにリソースを提供するものであると強く信じています。
写真
同社の CTO は、2016 年にジョージ ワシントン大学でコンピュータ サイエンスの修士号を取得し、その後 NetMind.AI に入社し、4 年生を務めました。 Microsoft チームの幹部であり、Web3、ブロックチェーン テクノロジー、分散システム、Kubernetes、クラウド コンピューティング、Azure、AWS などで豊富な経験を持ち、エッジ コンピューティング、フルスタック開発、機械学習の専門スキルを持っています。
NetMind の分散型 AI のビジョンの背後には、実際には包括的なテクノロジーという理想があります。
IT技術の発展の歴史を振り返ると、分散化の傾向は、コンピューティングリソースの集中化が急激に進む瞬間に現れることが多く、ボトムアップの力として、独占しようとする巨大企業と戦います。したがって、すべてのリソースを活用して、テクノロジーの包括性の新たな波を起こし、新しいテクノロジーを世界の隅々で真に普及させます。
現在の大型モデル市場はまさにそんな時期にあるのかもしれない。
大型モデル市場に目を向けると、1 年間にわたる精力的な開発を経ても、実際に足場を築くことができるスタートアップは多くありません。少数のスターユニコーンを除いて、大型モデルの将来は Microsoft、Google、Nvidia などのテクノロジー巨人に集中しつつあるようです。時間の経過とともに、数社が価格設定、可用性、コンピューティング リソースへのアクセスを独占的に管理するようになる可能性があります。
現時点では、AGI ストーリーの新しい青写真を書くには、NetMind Power のような民主化された物語が必要です。
現在、NetMind は学術分野および商業分野で協力しています -
学術面では、NetMind Power は現在、この分野のトップ大学を含む国内外の多くのトップ大学と協力しています。コンピュータサイエンス、ケンブリッジ大学、オックスフォード大学、カーネギーメロン大学、ノースウェスタン大学、清華大学、華中科学技術大学、ライス大学、復旦大学、上海交通大学など
写真
ビジネスの面では、NetMind Power は分散型ネットワークに基づく AI コンピューティング パワー ソリューションを企業に提供し、企業がモデル開発と製品に集中できるようにします。革新。 Netmind Power の助けを借りて、革新的な AI 製品の発売を加速する企業が増えています。たとえば、最近北米で勢いを増している Wensheng ビデオ チームの Haiper.ai は、モデルのトレーニングと推論を NetMind Power プラットフォームと深く統合しています。
将来的に、NetMind Power は徐々に分散型 AI コミュニティに成長し、世界的な AI イノベーションを加速していきます。
機械学習の実践者、学術研究者、AI アプリケーション側の企業は、NetMind Power プラットフォーム上で必要なコンピューティング能力とモデルを見つけることができ、また、プラットフォーム上で独自のトレーニング済みモデルをホストすることもできます。 、さらにはプラットフォーム上の他のユーザーに提供し、そこから一定の料金を請求することもあります。
ユーザーは、プラットフォーム上の対応するコンピューティング能力を使用して自身のトレーニング ニーズを解決するだけでなく、プラットフォームを通じてトレーニング済みのモデルを必要としているより多くの人々や企業に提供し、レイヤーごとに渡すこともできます。
タイムラインを延長し、AGI を真に実現するには、AI の普遍化と民主化が避けられない前提条件です。現在、主導権を握った NetMind.AI は独自の貢献を行い、より多くのパートナーを探し、民主的な AGI 時代に向けて小さく確実な一歩を踏み出しています。
以上が清華チームが新しいプラットフォームを立ち上げる：分散型 AI を使用してコンピューティング能力不足を打破の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
