ChatGPT はコンピューティング能力に二重の影響を与えます
ChatGPT はここ数か月で大きな話題になっていますが、その人気が続いている背景には、人工知能コンテンツを自動生成するためのコンピューティング パワーに対する需要の高まりがあります。 ChatGPT は、一方ではコンピューティング能力の需要の増大を推進してきましたが、他方では、ChatGPT はコンピューティング能力のサポートに対してより高い要件を提示しました。
データによると、ChatGPT モデルのトレーニングに必要な総コンピューティング電力消費量は 3640PF 日で、約 1,200 万米ドルの費用がかかり、また、操作中にかなりのオーバーヘッドが必要です。国盛証券のレポートによると、1 月の ChatGPT への平均ユニーク訪問者数 1,300 万人に基づくと、対応するチップ需要は 30,000 個以上の NVIDIA A100 GPU、概算の計算能力コストは 8 億米ドル、そして毎日の電力価格は50,000米ドル、およそ米ドルです。 ChatGPT は Microsoft から 130 億米ドルの投資を受けており、これがその高いコンピューティング能力への投資を裏付ける自信となっています。 OpenAI が独立した起業家企業としてこのような巨大なプロジェクトを完了できるのは、まさにテクノロジーの巨人 Microsoft の資金、将来の市場、コンピューティング インフラストラクチャ (Azure クラウド) に至るまでの全面的なサポートがあってこそです。計算能力の要件はパラメーターの大きさと密接に関係しており、パラメーターの大きさは、大規模なモデルのトレーニングの品質を現在測定するための重要な基準でもあります。パラメーターの数が増えるほど、モデルはよりスマートになり、それに伴うオーバーヘッドも大きくなります。これは、GPT タイプの閾値が高いという特徴を形成します。 GPT-3 の以前のバージョンはオープンソースであったため、他の起業家が GPT-3 に基づいて新しい研究開発作業を実行することが容易になりました。 GPT-4 以降、OpenAI オープン API はバイト トラフィックに基づいて課金されます。これを踏まえたアプリケーション開発にしても二次モデル開発にしても敷居が高い。
さらに興味深いのは、Meta の LLaMA ソース コードが漏洩したことです。その結果、いわゆる「Llama Family」(「Llama」は「アルパカ」とも訳せます)という大規模モデルが登場し、オープンソースリソースを入手したい開発者はGPT-3以外の新たな選択肢を得ることができます。
「大規模モデル」のコンピューティング能力への依存度が高いことは、少なくとも 2 つの大きな影響を及ぼします。
第一に、これはもはや「草の根」起業家精神のゲームでも、かつてのインターネット起業家精神の「中国へのコピー」ゲームでもありません。「本物の剣と本物の」の中核となる能力の競争です。資本、技術から企業の戦略判断までを総合的に評価。伝統産業時代の中国は、加工産業からスタートし、徐々に価値の高い基幹技術の研究開発に移行してきましたが、欧米の最先端レベルにはまだ一定の距離があるのが現状です。 。特に材料科学など長期にわたる技術蓄積が必要な分野では、依然としてその差は大きい。
デジタル時代に入り、中核技術の研究開発から直接始めるというのが中国の産業界のコンセンサスとなっている。
米国と中国は科学技術分野での相互依存度を下げる傾向にある。今制約を受けているのはチップ産業だけだが、「ビッグモデル」が生産要素に発展すれば、間違いなく同じ問題に遭遇するだろう。したがって、中国は独自の「ビッグモデル」の中核技術を持たなければならない。この必然性を見て、中国のテクノロジー企業も「ビッグモデル」に多額の投資をする傾向になっている。
中小企業のテクノロジー企業にネイティブの「大きなモデル」を開発する能力がない場合は、GPT-3 または LLaMA のオープンソース モデルを開発または二次開発に使用して、独自の「ビッグモデル」。アプリケーション開発会社は、ネイティブの「ビッグモデル」を開発することはほとんどなく、自社アプリケーションの販売市場によほどの自信がない限り、膨大な計算能力コストの圧力に屈し、代わりにAPI利用料を支払い、既製のモデルを使用して関連アプリケーションを開発することになります。 。
第二に、「東に数えて西に数え」の構築が適切な時期に到来し、大きなビジネスチャンスをもたらす可能性があります。
西部地域は「グリーン電力」リソースが豊富です。「東部のデジタルと西部のコンピューティング」の全体計画に基づき、西部のハブは主にバックアップとストレージを担当し、東部地域は実際の電力供給を担当します。スマートシティにおけるタイムコンピューティング、産業用インターネット、インターネットサービスの仕事は東部地域のハブで行われます。 「ビッグ モデル」には膨大なコンピューティング能力が必要です。東部 IDC はコンピューティング能力リソースを大規模に占有しており、高コスト (東部では電気代が高い)、排出量が多い (東部ではグリーン電力の割合が高い) という 3 つの大きな欠点があります。東部は小規模)、低遅延要件を持つアプリケーションのコンピューティング パワー リソースを絞り出すことで、西部のコンピューティング パワー センターに新たなビジネス チャンスが生まれます。
一方で、西部地域の IDC に「大規模モデル」のトレーニング計算を配置するには、ローカル通信ネットワークのパフォーマンスを向上させるためのより高い要件が必要になります。膨大なデータのスループットは解決すべき問題ですが、この問題を解決するコストはIDCの利用料金の差に比べればはるかに低いです。
一方、大手テクノロジー企業はいずれも独自のESG(環境社会的責任)目標を掲げており、炭素排出量が最も重要な指標となっている。 「大規模モデル」と大規模なコンピューティングパワーの運用は大量の炭素排出を引き起こすため、「グリーンコンピューティングパワー」の需要がより緊急になります。
以上がChatGPT はコンピューティング能力に二重の影響を与えますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









DALL-E 3は、前モデルより大幅に改良されたモデルとして2023年9月に正式導入されました。これは、複雑な詳細を含む画像を作成できる、これまでで最高の AI 画像ジェネレーターの 1 つと考えられています。ただし、発売当初は対象外でした

このサイトは6月27日、JianyingはByteDanceの子会社であるFaceMeng Technologyによって開発されたビデオ編集ソフトウェアであり、Douyinプラットフォームに依存しており、基本的にプラットフォームのユーザー向けに短いビデオコンテンツを作成すると報告しました。 Windows、MacOS、その他のオペレーティング システム。 Jianyingは会員システムのアップグレードを正式に発表し、インテリジェント翻訳、インテリジェントハイライト、インテリジェントパッケージング、デジタルヒューマン合成などのさまざまなAIブラックテクノロジーを含む新しいSVIPを開始しました。価格的には、クリッピングSVIPの月額料金は79元、年会費は599元(当サイト注:月額49.9元に相当)、継続月額サブスクリプションは月額59元、継続年間サブスクリプションは、年間499元(月額41.6元に相当)です。さらに、カット担当者は、ユーザーエクスペリエンスを向上させるために、オリジナルのVIPに登録している人は、

検索強化生成およびセマンティック メモリを AI コーディング アシスタントに組み込むことで、開発者の生産性、効率、精度を向上させます。 JanakiramMSV 著者の EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG から翻訳。基本的な AI プログラミング アシスタントは当然役に立ちますが、ソフトウェア言語とソフトウェア作成の最も一般的なパターンに関する一般的な理解に依存しているため、最も適切で正しいコードの提案を提供できないことがよくあります。これらのコーディング アシスタントによって生成されたコードは、彼らが解決する責任を負っている問題の解決には適していますが、多くの場合、個々のチームのコーディング標準、規約、スタイルには準拠していません。これにより、コードがアプリケーションに受け入れられるように修正または調整する必要がある提案が得られることがよくあります。

大規模言語モデル (LLM) は巨大なテキスト データベースでトレーニングされ、そこで大量の現実世界の知識を取得します。この知識はパラメータに組み込まれており、必要なときに使用できます。これらのモデルの知識は、トレーニングの終了時に「具体化」されます。事前トレーニングの終了時に、モデルは実際に学習を停止します。モデルを調整または微調整して、この知識を活用し、ユーザーの質問により自然に応答する方法を学びます。ただし、モデルの知識だけでは不十分な場合があり、モデルは RAG を通じて外部コンテンツにアクセスできますが、微調整を通じてモデルを新しいドメインに適応させることが有益であると考えられます。この微調整は、ヒューマン アノテーターまたは他の LLM 作成物からの入力を使用して実行され、モデルは追加の実世界の知識に遭遇し、それを統合します。

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性を実証しています。 「S」で始まる関連研究

7月5日のこのウェブサイトのニュースによると、グローバルファウンドリーズは今年7月1日にプレスリリースを発行し、自動車とインターネットでの市場シェア拡大を目指してタゴール・テクノロジーのパワー窒化ガリウム(GaN)技術と知的財産ポートフォリオを買収したことを発表した。モノと人工知能データセンターのアプリケーション分野で、より高い効率とより優れたパフォーマンスを探求します。生成 AI などのテクノロジーがデジタル世界で発展を続ける中、窒化ガリウム (GaN) は、特にデータセンターにおいて、持続可能で効率的な電力管理のための重要なソリューションとなっています。このウェブサイトは、この買収中にタゴール・テクノロジーのエンジニアリングチームがGLOBALFOUNDRIESに加わり、窒化ガリウム技術をさらに開発するという公式発表を引用した。 G

8月1日の本サイトのニュースによると、SKハイニックスは本日(8月1日)ブログ投稿を発表し、8月6日から8日まで米国カリフォルニア州サンタクララで開催されるグローバル半導体メモリサミットFMS2024に参加すると発表し、多くの新世代の製品。フューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) の紹介。以前は主に NAND サプライヤー向けのフラッシュ メモリ サミット (FlashMemorySummit) でしたが、人工知能技術への注目の高まりを背景に、今年はフューチャー メモリおよびストレージ サミット (FutureMemoryandStorage) に名前が変更されました。 DRAM およびストレージ ベンダー、さらに多くのプレーヤーを招待します。昨年発売された新製品SKハイニックス
