サム・アルトマン氏の講演の削除されたトランスクリプト: オープン AI には GPU も不足しており、コスト削減が主な目標です
Microsoft が「半減期」を OpenAI に引き渡した後、12 億ドルはほぼすべてのコンピューティング能力に相当します。
著者 | Lingzijun
編集者 | 魏世傑
サムアルトマンのヨーロッパツアーはまだ進行中です。少し前に、彼はロンドンで人工知能企業ヒューマンループの CEO とプライベートで会談しました。 HumanLoop は、大規模な言語モデルでアプリケーションを構築するためのサービスを提供する会社であり、その目標は開発者がこの目標を達成できるように支援することです。
HumanLoop CEO の Raza Habib は会話の要点を記録し、同社の公式 Web サイトで公開しました。 しかしその後、議事録は OpenAI の要請により削除されました。 これにより、この会話に対する外部の人々の好奇心が実際に高まりました。 OpenAI に関わる考え方の一部が変わったのではないかと推測する人もいます。
削除された会話議事録を閲覧した後、Geek Park は、サムの OpenAI に対する短期計画だけでなく、隠された情報も含まれていることを発見しました。Microsoft のクラウド コンピューティング リソースから強力なサポートを受けた後、 OpenAIに対する圧力。 結局のところ、モデルの微調整と推論は依然として大量のコンピューティング リソースを消費します。 The Information によると、Open AI モデルには Microsoft Azure の費用が 12 億ドルかかりました。 OpenAI のサポートにコンピューティング リソースを集中させると、Microsoft の他の部門が利用できるサーバーも制限されます。
これに関して、サムはコストを削減することが現在の主な目標であると述べました。
さらに、Sam は次のことも明らかにしました: 現在、より長いコンテキスト ウィンドウを開いたり、微調整 API を提供したりするサービスは、GPU リソースによって 制限されています;
この対話の中で、サム・アルトマンは、競争や商業化など、外の世界にとって懸念される多くの問題について答えました。
- 世界クラスのプロダクト マネージャーである Peter Deng を雇用したばかりにもかかわらず、OpenAI はこれ以上の製品をリリースすることを検討していません;
- 将来のアプリケーションのトレンドは、ChatGPT でプラグインを増やすのではなく、大規模モデルの機能をより多くの APP に埋め込むことです。実際には、ほとんどのプラグインは PMF (Product/Market Fit) を示さないためです。
- 過去数年間、OpenAI はモデルの規模を数百万倍の速度で拡大してきましたが、この速度は持続不可能です。次に、OpenAI はモデルのパフォーマンスを向上させるために、モデル サイズを 1 ~ 3 倍の割合で増加し続けます。
バックアップから得られる内容は次のとおりです:
01OpenAI は現在
にあります
GPU の重大な制限会話が広がるにつれて、
必要なコンピューティング リソースは急激に増加します
現在、OpenAI の GPU は非常に限られており、そのため短期計画の多くが遅れています。顧客からの最大の不満は API の信頼性と速度です。 Sam は彼らの懸念を認め、
問題のほとんどは GPU の不足が原因であると説明しました。より長い 32,000 のコンテキストは、まだより多くの人に展開することはできません。
OpenAI は注意力の O(n^2) スケーリングを克服できていないため、100,000 のコンテキストがあるのはもっともらしいと思われますが、 - 100 万トークンのコンテキスト ウィンドウが間もなく (今年中に) それ以上になると、研究の画期的な進歩が必要になります。 より長い 32K コンテキストは、まだ多くの人が利用できません。
OpenAI は、アテンション メカニズムの O (n ^ 2) スケーリング問題をまだ克服していませんが、間もなく (今年) 100k ~ 1M トークンのコンテキスト ウィンドウができるようです。これより大きなウィンドウを実現するには、研究の画期的な進歩が必要になります。注: O (n^2) は、シーケンスの長さが増加するにつれて、アテンション計算の実行に必要なコンピューティング リソースが指数関数的に増加することを意味します。 O は、アルゴリズムの時間または空間の複雑さの増加率の上限または最悪のシナリオを記述するために使用されます。(n^2) は、複雑さが入力サイズの 2 乗に比例することを意味します。
微調整 API も現在、GPU の可用性によって制限されています。 Adapter や LoRa のような効率的な微調整方法を使用していないため、微調整による (モデルの) 実行と管理は非常に多くの計算量を要します。将来的には、微調整のサポートがさらに強化される予定です。モデルへの貢献を目的としたコミュニティベースのマーケットプレイスを主催することもあります。
専用容量のプロビジョニングは、GPU の可用性によって異なります。 OpenAI は、顧客にモデルのプライベート コピーを提供する専用の機能を提供します。サービスを受けるには、顧客は前払いで 10 万ドルを支払う用意がなければなりません。
02OpenAI の短期ロードマップ
2023 年、賢くコストを削減;
2024、マルチモダリティの限定的なデモンストレーション
Sam はまた、OpenAI API の暫定的な短期ロードマップとして考えていることについても共有しました。
2023:- より安く、より速い GPT-4 ーーこれが彼らの最優先事項です。全体として、OpenAI の目標は「インテリジェンスのコスト」を可能な限り削減することであるため、今後も API のコストを削減し続けるよう努力する予定です。
- コンテキスト ウィンドウの長期化 ーー近い将来、コンテキスト ウィンドウは 100 万トークンに達する可能性があります。
- 微調整 API ー 微調整 API は最新モデルにも拡張されますが、正確な形式は開発者が本当に何を望んでいるのかに依存します。
- ステートフル API - 現在、チャット API を呼び出す場合、同じ会話履歴を通じて同じトークンを何度も支払う必要があります。セッション履歴を記憶する API の将来のバージョンが登場する予定です。
2024:
マルチモダリティ - これは GPT-4 リリースの一部としてデモされていますが、より多くの GPU がオンラインになるまで、すべての人に拡張されるわけではありません。
03
コマーシャルの予測と考え方:
プラグイン「PMFなし」、
すぐに API に表示されなくなる可能性があります
多くの開発者が API アクセスを備えた ChatGPT プラグインに興味を持っていますが、Sam 氏は、これらのプラグインがすぐにリリースされるとは思わないと述べました。 Brosing プラグインに加えて、他のプラグインの使用状況は、PMF (Product/Market Fit) がまだ確立されていないことを示しています。 彼は、多くの人が自分のアプリケーションを ChatGPT 内に置きたいと考えているが、実際に望んでいるのは ChatGPT がアプリケーション内に存在することであると指摘しました。
04
ChatGPT に加えて、
OpenAI は顧客との競合を回避します
すべての優れた企業はこれらを備えています
キラーアプリ
多くの開発者は、OpenAI が最終的に自社と競合する製品をリリースする可能性があるため、OpenAI API を使用した開発に不安を感じていると述べています。 Sam は、OpenAI は ChatGPT 以外の製品をこれ以上リリースしないと言いました。 彼は、歴史的に見て、優れたプラットフォーム企業はキラー アプリケーションを持っていると述べました。 ChatGPT を使用すると、開発者は独自の製品の顧客になることで API を改善できます。 ChatGPT のビジョンは、超インテリジェントな作業アシスタントになることですが、OpenAI ではカバーできない GPT のユースケースは他にもたくさんあります。
05
監督が必要です、
######しかし今ではありません############「私は何人の人や会社を尊敬しましたか。
大型モデルの保持能力に疑問」サムは将来のモデルの規制を求めていますが、既存のモデルが危険であるとは考えておらず、それらを規制したり禁止したりするのは大きな間違いであると考えています。同氏はオープンソースの重要性を改めて強調し、OpenAIはGPT-3のオープンソース化を検討していると述べた。
彼らはまだそれをオープンソース化していません。その理由の 1 つは、どれだけの個人や企業が大規模言語モデル (LLM) を保持して提供できるかについて彼が懐疑的だからです。06
スケールの法則は依然として適用されます
数年で数百万倍の拡張速度、
それは永遠に続くことはできません最近「巨大AIモデルの時代は終わった」と主張する記事が多くなりました。これは正確ではありません。 (注: 4 月に MIT で行われたイベントで、サム アルトマン氏は次のように述べました。「私たちは今、巨大モデルの時代の終わりに近づいています。)」
OpenAI の内部データは、モデル パフォーマンスのスケールの法則が引き続き適用され、
モデル サイズを増やすとパフォーマンスが向上し続けることを示しています。OpenAI はわずか数年でモデルを何百万回もスケールアップしたため、この拡大率を維持することはできません。 これは、OpenAI が今後もモデルを大きくしようとしないという意味ではありませんが、モデルのサイズが何桁も増加するのではなく、毎年 2 倍または 3 倍になる可能性があることを意味します。 規模の法則が有効であることは、AGI 開発スケジュールに重要な意味を持ちます。
スケールの法則では、AGI の構築に必要なほとんどの要素がおそらくすでに揃っていることを前提としています。残りの作業は主に、既存のメソッドをより大きなモデルやより大きなデータ セットに拡張することです。スケールの時代が過ぎ去った場合、私たちは AGI からさらに遠ざかることになるかもしれません。規模の法則が引き続き適用されるという事実は、スケジュールがより短いことを強く示唆しています。オタクの質問
OpenAI についてどう思いますか
最近のテクニカルルートは何ですか?
ホットなビデオ
Apple Vison Pro 製品ディスプレイのフルバージョンが公開されました!ハードウェアは必要ありません。お互いに確認できます。デジタル世界と現実世界をシームレスに融合!
いいねしてフォローしてくださいGeek Park ビデオ番号
,
もっとエキサイティングなビデオを見る ######続きを読む######
以上がサム・アルトマン氏の講演の削除されたトランスクリプト: オープン AI には GPU も不足しており、コスト削減が主な目標ですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











モデルコンテキストプロトコル(MCP):AIとデータのユニバーサルコネクタ 私たちは皆、毎日のコーディングにおけるAIの役割に精通しています。 Replit、Github Copilot、Black Box AI、およびCursor IDEは、AIがワークフローを合理化する方法のほんの一部です。 しかし、想像してみてください

MicrosoftのOmniparser V2とOmnitool:AIでGUIオートメーションに革命をもたらす 味付けされた専門家のように、Windows 11インターフェースと相互作用するだけでなく、熟練したプロのように相互作用するAIを想像してください。 MicrosoftのOmniparser V2とOmnitoolはこれを再生します

バイブコーディングは、無限のコード行の代わりに自然言語を使用してアプリケーションを作成できるようにすることにより、ソフトウェア開発の世界を再構築しています。 Andrej Karpathyのような先見の明に触発されて、この革新的なアプローチは開発を許可します

アプリ開発の革新:レプリットエージェントに深く潜ります 複雑な開発環境と不明瞭な構成ファイルとの格闘にうんざりしていませんか? Replit Agentは、アイデアを機能的なアプリに変換するプロセスを簡素化することを目的としています。 このai-p

このブログ投稿では、Runway MLの新しいAct-One Animationツールの経験をテストし、WebインターフェイスとPython APIの両方をカバーしています。約束しますが、私の結果は予想よりも印象的ではありませんでした。 生成AIを探索したいですか? PでLLMSを使用することを学びます

2025年2月は、生成AIにとってさらにゲームを変える月であり、最も期待されるモデルのアップグレードと画期的な新機能のいくつかをもたらしました。 Xai’s Grok 3とAnthropic's Claude 3.7 SonnetからOpenaiのGまで

Yolo(あなたは一度だけ見ています)は、前のバージョンで各反復が改善され、主要なリアルタイムオブジェクト検出フレームワークでした。最新バージョンYolo V12は、精度を大幅に向上させる進歩を紹介します

Openai、Softbank、Oracle、Nvidiaなどのハイテク大手に支援され、米国政府が支援する5,000億ドルのStargate AIプロジェクトは、アメリカのAIリーダーシップを固めることを目指しています。 この野心的な仕事は、AIの進歩によって形作られた未来を約束します
