IBM、クラウドネイティブ AI スーパーコンピューター Vela を開発し、数百億のパラメーター モデルを柔軟に展開してトレーニングできる
ChatGPT はインターネット上で人気があり、その背後にある AI モデルのトレーニングも広く注目を集めています。 IBM Research は最近、同社が開発したクラウドネイティブ スーパーコンピューター Vela を迅速に導入して、基本的な AI モデルのトレーニングに使用できることを発表しました。 2022 年 5 月以来、同社の研究者数十人がこのスーパーコンピューターを使用して、数百億のパラメーターを使用して AI モデルをトレーニングしてきました。
基本モデルは、大量のラベルなしデータでトレーニングされた AI モデルであり、その汎用性により、微調整するだけでさまざまなタスクに使用できます。その規模は膨大であり、膨大で高価なコンピューティング能力を必要とします。したがって、専門家が言うように、次世代の大規模基本モデルの開発では計算能力が最大のボトルネックとなり、そのトレーニングには多大な計算能力と時間を必要とします。
数百億または数千億のパラメーターを実行できるモデルをトレーニングするには、ネットワーク、並列ファイル システム、ベア メタル ノードなどの高性能コンピューティング ハードウェアの使用が必要です。このハードウェアは導入が難しく、運用コストがかかります。 Microsoft は 2020 年 5 月に OpenAI 用の AI スーパーコンピューターを構築し、Azure クラウド プラットフォームでホストしました。しかしIBMは、これらはハードウェア主導型であるため、コストが増加し、柔軟性が制限されると述べている。
クラウド AI スーパーコンピューター
そこで IBM は、「特に大規模 AI に焦点を当てた」Vela と呼ばれるシステムを作成しました。
Vela は、必要に応じて IBM のクラウド データ センターに導入でき、それ自体が「仮想クラウド」です。このアプローチは、物理ベースのスーパーコンピューターを構築する場合と比較して計算能力を削減しますが、より柔軟なソリューションを作成します。クラウド・コンピューティング・ソリューションは、API インターフェースを介してエンジニアにリソースを提供し、広範な IBM クラウド・エコシステムに簡単にアクセスしてより深い統合を実現し、必要に応じてパフォーマンスを拡張する機能を提供します。
IBM エンジニアは、Vela はカスタム ストレージ バックエンドを構築する代わりに、IBM Cloud Object Storage 上のデータ セットにアクセスできると説明しました。以前は、このインフラストラクチャはスーパーコンピュータに個別に構築する必要がありました。
AI スーパーコンピューターの主要コンポーネントは、多数の GPU とそれらを接続するノードです。 Vela は実際に各ノードを (ベアメタルではなく) 仮想マシンとして構成します。これは最も一般的な方法であり、AI トレーニングに最も理想的な方法であると広く考えられています。
Vela はどのように構築されていますか?
クラウド仮想コンピュータの欠点の 1 つは、パフォーマンスが保証できないことです。パフォーマンスの低下に対処し、仮想マシン内でベアメタルのパフォーマンスを実現するために、IBM のエンジニアは、ノードのパフォーマンス (GPU、CPU、ネットワーク、ストレージを含む) をフルに解放し、負荷損失を 5% 未満に削減する方法を見つけました。
これには、仮想化用のベア メタル ホストの構成、仮想マシンのスケーリング、ラージ ページおよびシングル ルート IO の仮想化のサポート、および仮想マシン内のすべてのデバイスと接続の現実的な表現が含まれます。ネットワーク カード、CPU、GPU も含まれます。一致と、それらが相互にブリッジする方法。この作業を完了した後、仮想マシン ノードのパフォーマンスが「ベアメタルに近い」ことがわかりました。
さらに、彼らは、AI トレーニング データ、モデル、完成品をキャッシュするための大容量 GPU メモリと大量のローカル ストレージを備えた AI ノードの設計にも取り組んでいます。 PyTorch を使用したテストでは、ワークロードの通信パターンを最適化することで、スーパーコンピューティングで使用される Infiniband のような高速ネットワークと比較して、比較的低速なイーサネット ネットワークのボトルネックを橋渡しできることもわかりました。
構成に関しては、各 Vela は 8 つの 80 GB A100 GPU、2 つの第 2 世代 Intel Xeon スケーラブル プロセッサ、1.5 TB のメモリ、および 4 つの 3.2 TB NVMe ハード ドライブを使用しており、あらゆる規模で使用できます。世界中にあるIBMのクラウドデータセンター。
IBM エンジニアは次のように述べています。「適切なツールとインフラストラクチャを用意することは、研究開発の効率を向上させるための重要な要素です。多くのチームは、AI 用の従来のスーパーコンピュータを構築するという実証済みの道を選択しています...ハイパフォーマンス コンピューティングとハイエンド ユーザーの生産性という二重のメリットを提供する、より良いソリューションの開発に取り組んでいます。」
以上がIBM、クラウドネイティブ AI スーパーコンピューター Vela を開発し、数百億のパラメーター モデルを柔軟に展開してトレーニングできるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









700万のレコードを効率的に処理し、地理空間技術を使用したインタラクティブマップを作成します。この記事では、LaravelとMySQLを使用して700万を超えるレコードを効率的に処理し、それらをインタラクティブなマップの視覚化に変換する方法について説明します。最初の課題プロジェクトの要件:MySQLデータベースに700万のレコードを使用して貴重な洞察を抽出します。多くの人は最初に言語をプログラミングすることを検討しますが、データベース自体を無視します。ニーズを満たすことができますか?データ移行または構造調整は必要ですか? MySQLはこのような大きなデータ負荷に耐えることができますか?予備分析:キーフィルターとプロパティを特定する必要があります。分析後、ソリューションに関連している属性はわずかであることがわかりました。フィルターの実現可能性を確認し、検索を最適化するためにいくつかの制限を設定しました。都市に基づくマップ検索

MySQLの起動が失敗する理由はたくさんあり、エラーログをチェックすることで診断できます。一般的な原因には、ポートの競合(ポート占有率をチェックして構成の変更)、許可の問題(ユーザー許可を実行するサービスを確認)、構成ファイルエラー(パラメーター設定のチェック)、データディレクトリの破損(テーブルスペースの復元)、INNODBテーブルスペースの問題(IBDATA1ファイルのチェック)、プラグインロード障害(エラーログのチェック)が含まれます。問題を解決するときは、エラーログに基づいてそれらを分析し、問題の根本原因を見つけ、問題を防ぐために定期的にデータをバックアップする習慣を開発する必要があります。

この記事では、MySQLデータベースの操作を紹介します。まず、MySQLWorkBenchやコマンドラインクライアントなど、MySQLクライアントをインストールする必要があります。 1. mysql-uroot-pコマンドを使用してサーバーに接続し、ルートアカウントパスワードでログインします。 2。CreatedAtaBaseを使用してデータベースを作成し、データベースを選択します。 3. createTableを使用してテーブルを作成し、フィールドとデータ型を定義します。 4. INSERTINTOを使用してデータを挿入し、データをクエリし、更新することでデータを更新し、削除してデータを削除します。これらの手順を習得することによってのみ、一般的な問題に対処することを学び、データベースのパフォーマンスを最適化することでMySQLを効率的に使用できます。

MySQLはJSONデータを返すことができます。 json_extract関数はフィールド値を抽出します。複雑なクエリについては、Where句を使用してJSONデータをフィルタリングすることを検討できますが、そのパフォーマンスへの影響に注意してください。 JSONに対するMySQLのサポートは絶えず増加しており、最新バージョンと機能に注意を払うことをお勧めします。

リモートシニアバックエンジニアの求人事業者:サークル場所:リモートオフィスジョブタイプ:フルタイム給与:$ 130,000- $ 140,000職務記述書サークルモバイルアプリケーションとパブリックAPI関連機能の研究開発に参加します。ソフトウェア開発ライフサイクル全体をカバーします。主な責任は、RubyonRailsに基づいて独立して開発作業を完了し、React/Redux/Relay Front-Endチームと協力しています。 Webアプリケーションのコア機能と改善を構築し、機能設計プロセス全体でデザイナーとリーダーシップと緊密に連携します。肯定的な開発プロセスを促進し、反復速度を優先します。 6年以上の複雑なWebアプリケーションバックエンドが必要です

データベース酸属性の詳細な説明酸属性は、データベーストランザクションの信頼性と一貫性を確保するための一連のルールです。データベースシステムがトランザクションを処理する方法を定義し、システムのクラッシュ、停電、または複数のユーザーの同時アクセスの場合でも、データの整合性と精度を確保します。酸属性の概要原子性:トランザクションは不可分な単位と見なされます。どの部分も失敗し、トランザクション全体がロールバックされ、データベースは変更を保持しません。たとえば、銀行の譲渡が1つのアカウントから控除されているが別のアカウントに増加しない場合、操作全体が取り消されます。 TRANSACTION; updateaccountssetbalance = balance-100wh

MySQLのインストール障害の主な理由は次のとおりです。1。許可の問題、管理者として実行するか、SUDOコマンドを使用する必要があります。 2。依存関係が欠落しており、関連する開発パッケージをインストールする必要があります。 3.ポート競合では、ポート3306を占めるプログラムを閉じるか、構成ファイルを変更する必要があります。 4.インストールパッケージが破損しているため、整合性をダウンロードして検証する必要があります。 5.環境変数は誤って構成されており、環境変数はオペレーティングシステムに従って正しく構成する必要があります。これらの問題を解決し、各ステップを慎重に確認して、MySQLを正常にインストールします。

LaravelEloquentモデルの検索:データベースデータを簡単に取得するEloquentormは、データベースを操作するための簡潔で理解しやすい方法を提供します。この記事では、さまざまな雄弁なモデル検索手法を詳細に紹介して、データベースからのデータを効率的に取得するのに役立ちます。 1.すべてのレコードを取得します。 ALL()メソッドを使用して、データベーステーブルですべてのレコードを取得します:useapp \ models \ post; $ post = post :: all();これにより、コレクションが返されます。 Foreach Loopまたはその他の収集方法を使用してデータにアクセスできます。
