ホームページ テクノロジー周辺機器 AI Microsoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係

Microsoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係

Sep 29, 2023 pm 07:53 PM
AIモデル 小さいサイズ マイクロソフトの陰謀

AI 大型モデルは 2023 年のキーワードとなり、大手テクノロジー企業間の競争が激化する分野でもあります。しかし、未来を象徴するこの大規模な AI モデルのコストは高すぎるため、マイクロソフトのような裕福な企業でさえ代替案の検討を始めています。最近の暴露によると、Peter Lee 率いる Microsoft 内の 1,500 人規模の研究チームの一部が、より小型で運用コストが低い新しい LLM の開発に着手したことがわかりました。

Microsoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係

Microsoft の小型 AI モデルに関しては、3 か月前から手がかりが出始めました。今年 6 月、マイクロソフトは「必要なのは教科書だけ」というタイトルの論文を発表しました。この論文では、わずか 70 億トークンの「教科書レベル」のデータを使用して 13 億のパラメーター モデル phi-1 をトレーニングし、小規模であっても高いパフォーマンスが得られることを証明しました。質の高いデータにより、モデルのパフォーマンスも向上します。さらに、Microsoft Research は、phi-1 をベースにした新しい事前トレーニング済み言語モデル phi-1.5 もリリースしました。これは、QA Q&A、チャット形式、コードなどのシナリオに適しています

Microsoft によると、常識、言語理解、論理的推論をテストするベンチマークでは、phi-1.5 はかなりの数の大規模モデルよりも優れたパフォーマンスを発揮します。 LM-Eval Harness を使用した GPT4AL ランニング スコア スイートでは、phi-1.5 は 70 億のパラメーターを備えた Meta のオープンソース大規模モデル llama-2 に匹敵し、AGIEval スコアでは llama-2 を上回っています。

Microsoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係

なぜマイクロソフトは突然小型 AI モデルを開発するようになったのでしょうか?一般に、これは OpenAI 間の問題に関連している可能性があると考えられています。 Microsoft は OpenAI への主要な投資家であるため、OpenAI の既存の知的財産を永久に使用することができますが、OpenAI の意思決定を制御することはできません。したがって、Microsoft のような巨大企業にとって、自社の戦略的なセキュリティを考慮するためでも、OpenAI

と協力して有利な立場を維持するためにも、高品質で小規模な AI モデルを開発することが不可欠です。

もちろん、大規模な AI モデルの現在のエネルギー消費量は重要な要素です。今年初めのデザインオートメーションカンファレンスで、AMD最高技術責任者のマーク・ペーパーマスター氏は、機械学習システムのエネルギー消費と世界の発電量を比較したスライドを披露した。国際エネルギー機関の推計によると、大規模モデルをトレーニングするデータセンターのエネルギー消費量はますます増加しており、世界の電力消費量の 1.5% ~ 2% を占めており、これは英国全体の電力消費量に相当します。 2030 年までにこの割合は 4% に上昇すると予想されています

Microsoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係

Digital Information World が発表した関連レポートによると、AI モデルのトレーニングのためにデータセンターで生成されるエネルギー消費量は、従来のクラウド サービスの 3 倍となり、2028 年までにデータセンターの電力消費量は 4,250 メガワット近くになると予想されています。 2023. 倍から 212% 増加。 OpenAI トレーニング GPT-3 の消費電力は 1.287 ギガワット時で、これはアメリカの一般家庭 120 世帯の 1 年間の電力消費量にほぼ相当します。ただし、これは AI モデルをトレーニングする際の初期消費電力にすぎず、モデルが実際に使用されるときに消費される電力の 40% にすぎません。

Google が発表した 2023 年の環境報告書によると、大規模な AI モデルのトレーニングは大量のエネルギーを消費するだけでなく、大量の水資源も消費します。報告書によると、グーグルは2022年に56億ガロン(約212億リットル)の水を消費したが、これはゴルフコース37ヶ所の水消費量に相当する。このうち 52 億ガロンが Google のデータセンターで使用されており、2021 年から 20% 増加です

大規模な AI モデルのエネルギー消費が高いのは正常です。 ARM シニア テクニカル ディレクターのイアン ブラット氏の言葉を借りると、「AI コンピューティングのニーズには応えられません。ネットワーク規模が大きければ大きいほど、より良い結果が得られ、解決できる問題も多くなります。電力使用量はネットワーク規模に比例します。」となります。

Microsoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係

一部の人工知能専門家は、流行前には、Transformer モデルのトレーニングに必要なエネルギー消費量は 27 キロワット時の範囲だったと述べています。しかし現在、Transformer モデルのパラメータ数は 5,000 万から 2 億に増加し、エネルギー消費量は 500,000 キロワット時を超えています。つまり、パラメータの数は 4 倍に増加しましたが、エネルギー消費量は 18,000 倍以上増加しました。大規模な人工知能モデルがもたらすさまざまな革新的な機能は、ある意味、実は高い処理性能とエネルギー消費を犠牲にしています。

電力が増えると、AI トレーニング用にさらに多くの GPU が駆動され、GPU を冷却するために大量の水が消費されます。これが問題です。マイクロソフトが小型原子炉で生成された電力を利用してデータセンターを運営するためのロードマップを開発していることが明らかになったほどだ。さらに、ESG (「環境、社会、ガバナンス」) について言及されていなくても、純粋にコストの観点から小型モデルを研究することは価値があります。

ご存知のとおり、CUDA エコシステムを構築した NVIDIA は、今回の AI ブームの最大の受益者であり、すでに AI チップ市場の 70% を占めています。 A100は見つけるのが難しいです。しかし現状では、NVIDIA からコンピューティング能力を購入することが、AI メーカーのコストを押し上げる重要な要因となっています。したがって、サイズが小さいモデルは、必要なコンピューティング リソースが少なくて済み、問題を解決するために購入する GPU の数が少なくて済むことを意味します。

より強力な大規模モデルは確かに優れていますが、大規模モデルの商用化はまだ初期段階にあり、大儲けしているのはNVIDIAの「スコップを売る」役割だけです。したがって、この場合、Microsoft は当然のことながら現状を変更するつもりです。

以上がMicrosoftが小型AIモデルを立ち上げ、密かに「プランB」を実行、OpenAIとは無関係の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

AI 大型モデルの波を受けてコンピューティング パワーの需要が爆発的に増加しており、SenseTime の「大型モデル + 大型コンピューティング パワー」により、複数の業界の発展が可能になります。 AI 大型モデルの波を受けてコンピューティング パワーの需要が爆発的に増加しており、SenseTime の「大型モデル + 大型コンピューティング パワー」により、複数の業界の発展が可能になります。 Jun 09, 2023 pm 07:35 PM

このほど、「AIが時代をリードし、コンピューティングパワーが未来を駆動する」をテーマとした「臨港新区インテリジェントコンピューティングカンファレンス」が開催された。この会合において、新領域インテリジェントコンピューティング産業アライアンスが正式に設立され、センスタイムはコンピューティングパワープロバイダーとしてアライアンスのメンバーとなり、同時に「新領域インテリジェントコンピューティング産業チェーンマスター」企業の称号を授与されました。臨港コンピューティングパワーエコシステムへの積極的な参加者として、SenseTimeはアジア最大のインテリジェントコンピューティングプラットフォームの1つであるSenseTime AIDCを構築しました。これは合計5,000ペタフロップスのコンピューティングパワーを出力し、数千億のパラメータを持つ20の超大規模モデルをサポートできます。 . 同時にトレーニングします。 AIDC に基づいて将来を見据えて構築された大規模デバイスである SenseCore は、人工知能を強化するための高効率、低コスト、大規模な次世代 AI インフラストラクチャとサービスの作成に取り組んでいます。

研究者: AI モデル推論はより多くの電力を消費し、2027 年の業界の電力消費量はオランダの電力消費量に匹敵するでしょう 研究者: AI モデル推論はより多くの電力を消費し、2027 年の業界の電力消費量はオランダの電力消費量に匹敵するでしょう Oct 14, 2023 am 08:25 AM

IT Houseは10月13日、「Cell」の姉妹誌である「Joule」が今週、「人工知能の増大するエネルギーフットプリント(人工知能の増大するエネルギーフットプリント)」と題する論文を発表したと報じた。問い合わせの結果、この論文は科学研究機関デジコノミストの創設者アレックス・デブリーズ氏が発表したものであることが分かりました。アレックス・デブリーズ氏は、将来の人工知能の推論性能は大量の電力を消費する可能性があり、2027年までに人工知能の電力消費量はオランダの1年間の電力消費量に匹敵する可能性があると予測していると述べた。外の世界では、AI モデルのトレーニングが「AI で最も重要なこと」であると常に信じられてきました。

なぜ国内の大手AIモデルは「ランキングのスワイプ」にハマるのか? なぜ国内の大手AIモデルは「ランキングのスワイプ」にハマるのか? Dec 02, 2023 am 08:53 AM

ケータイサークルをフォローしている友人なら「認めなければ点数がもらえる」という言葉に馴染みがない人はいないと思います。たとえば、AnTuTu や GeekBench などの理論性能テスト ソフトウェアは、携帯電話の性能をある程度反映できるため、プレイヤーから大きな注目を集めています。同様に、PC プロセッサとグラフィックス カードのパフォーマンスを測定するための対応するベンチマーク ソフトウェアがあり、「すべてのものをベンチマークできる」ため、最も人気のある大規模な AI モデルも、特に「百モデル」以降のベンチマーク コンテストに参加し始めています。 「戦争」が始まり、毎日のようにブレークスルーがあった 各社「ランニングスコアで1位」を謳う 国産AIの大型モデルは性能スコアでほとんど負けることはなかったが、GPを超えることはできなかったユーザーエクスペリエンスの。

中国科学院共同物理研究所のネットワークセンターがAIモデルMatChatをリリース 中国科学院共同物理研究所のネットワークセンターがAIモデルMatChatをリリース Nov 03, 2023 pm 08:13 PM

ITハウスは11月3日、中国科学院物理研究所の公式ウェブサイトに記事が掲載されたと報じ、このほど中国科学院物理研究所/北京国立物性物理研究センターSF10グループが発表した。中国科学院コンピュータネットワーク情報センターと協力して大規模AIモデルを材料科学に適用する現場では、数万の化学合成経路データが大規模言語モデルLLAMA2-7bに供給され、MatChatモデルが得られる、無機材料の合成経路を予測するために使用できます。 IT House は、このモデルがクエリされた構造に基づいて論理的推論を実行し、対応する準備プロセスと式を出力できることに注目しました。これはオンラインで展開されており、すべての材料研究者に公開されており、材料の研究とイノベーションに新しいインスピレーションと新しいアイデアをもたらします。この作業は、セグメント化された科学の分野における大規模な言語モデルを対象としています。

4 倍高速化した Bytedance のオープンソース高性能トレーニング推論エンジン LightSeq テクノロジーが明らかに 4 倍高速化した Bytedance のオープンソース高性能トレーニング推論エンジン LightSeq テクノロジーが明らかに May 02, 2023 pm 05:52 PM

Transformer モデルは、2017 年に Google チームが発表した論文「Attendisalyouneed」に由来しています。この論文は、Seq2Seq モデルの循環構造を Attendance で置き換えるという概念を初めて提案し、NLP 分野に大きな影響を与えました。そして、近年の継続的な研究の進歩により、Transformer 関連技術は自然言語処理から徐々に他の分野へ流れてきました。現在まで、Transformer シリーズは、NLP、CV、ASR などの分野で主流のモデルとなっています。したがって、Transformer モデルをより迅速にトレーニングおよび推論する方法が、業界の重要な研究方向となっています。低精度の量子化技術では、

Google の最新 AI モデル Gemini について知っておくべきことすべて Google の最新 AI モデル Gemini について知っておくべきことすべて Dec 14, 2023 pm 08:57 PM

Google Gemini とは何ですか? Gemini は、Google が発表した最新かつ最も強力な AI モデルで、テキストだけでなく画像、ビデオ、音声も理解できます。マルチモーダル モデルとして、Gemini は、数学、物理学、その他の分野の複雑なタスクを完了できるだけでなく、さまざまなプログラミング言語で高品質のコードを理解して生成できると説明されています。現在、Google Bard と統合でき、 Google DeepMind の CEO 兼共同創設者であるデニス・ハサビス氏は、「Gemini は、Google Research の同僚を含む Google チーム全体の大規模なコラボレーションの結果です」と述べています。 。 それ

チャイナユニコム、テキストから画像やビデオクリップを生成できる大規模な画像およびテキストAIモデルをリリース チャイナユニコム、テキストから画像やビデオクリップを生成できる大規模な画像およびテキストAIモデルをリリース Jun 29, 2023 am 09:26 AM

中国ニュースを牽引する2023年6月28日、上海で開催中のモバイルワールドコングレス期間中の本日、チャイナユニコムはグラフィックモデル「Honghu Graphic Model 1.0」をリリースした。チャイナユニコムは、Honghuグラフィックモデルは通信事業者の付加価値サービス向けの初の大型モデルであると述べた。 China Business Newsの記者は、Honghuのグラフィックモデルには現在、8億個のトレーニングパラメータと20億個のトレーニングパラメータの2つのバージョンがあり、テキストベースの画像、ビデオ編集、画像ベースの画像などの機能を実現できることを知りました。さらに、チャイナユニコムの劉立紅会長も本日の基調講演で、生成型AIは発展の特異点を到来させており、今後2年間で雇用の50%が人工知能によって大きな影響を受けるだろうと述べた。

メタ研究者が AI の新たな試みを行う:地図やトレーニングなしで物理的に移動するようにロボットに教える メタ研究者が AI の新たな試みを行う:地図やトレーニングなしで物理的に移動するようにロボットに教える Apr 09, 2023 pm 08:31 PM

Meta Platforms の人工知能部門は最近、少量のトレーニング データのサポートを利用して AI モデルに物理世界の歩き方を学習させる方法を教えており、急速な進歩を遂げたと発表しました。この研究により、AI モデルが視覚的なナビゲーション機能を獲得するまでの時間を大幅に短縮できる可能性があります。以前は、このような目標を達成するには、大規模なデータセットを使用した「強化学習」を繰り返す必要がありました。メタ AI 研究者らは、この AI ビジュアル ナビゲーションの探求は仮想世界に大きな影響を与えるだろうと述べています。このプロジェクトの基本的なアイデアは複雑ではありません。単純に観察と探索を通じて、AI が人間と同じように物理空間を移動できるようにするというものです。メタ AI 部門は次のように説明しました。「たとえば、AR メガネに鍵を見つけるようにガイドしてもらいたい場合は、

See all articles