公聴会の後、サム・アルトマンはチームをヨーロッパへの「旅行」に連れて行った。
最近のインタビューで、アルトマン氏はそれを隠さず、彼自身の AI のすべての進歩は GPU が追いつくまで待たなければならないことを明らかにしました。
彼は OpenAI の API と製品計画について話し、多くの人々の注目を集めました。
多くのネチズンは、私がアルトマンの率直さが好きだと言いました。
十分な GPU があれば、2024 年にはほとんどの Plus ユーザーが GPT-4 のマルチモーダル機能を利用できるようになるはずであることは言及する価値があります。
Microsoft の兄貴分が OpenAI 用に構築するために 12 億米ドルを費やしたスーパーコンピューターは、GPT-4 ランタイムに必要な計算能力を満たすには程遠いです。何しろ、GPT-4のパラメータは100兆個あると言われています。
さらに、Altman 氏は、GPT-3 も OpenAI のオープンソース計画に含まれていることを明らかにしました。
このインタビューで OpenAI の「秘密」が明らかになりすぎたかどうかはわかりませんが、ソース原稿は削除されているので、急いでコーディングしてください。
最新のインタビューは、AI開発プラットフォームHumanloopのCEO、Raza Habib氏が司会を務め、インタビューを受けました。 Altman と他の 20 人の開発者。
このディスカッションでは、開発者の実際的な問題だけでなく、OpenAI の使命や AI の社会的影響に関するより大きな問題についても触れます。
重要なポイントは次のとおりです:
1. OpenAI は GPU を緊急に必要としています
2. OpenAI の最近のロードマップ: GPT-4 マルチモーダルは 2024 年にオープン予定
3. API 経由でアクセスされる ChatGPT プラグイン近い将来リリースされません
4. OpenAI は、ChatGPT を超スマートな作業アシスタントにすることを目的として、ChatGPT (「キラー アプリケーション」) のみを作成します
##5. オープンソース計画の GPT-3
6. モデル パフォーマンスのスケーリング則は引き続き有効です
次に、サム・アルトマンの発言を6つの主要なポイントから紹介します 何が起こったのか？
OpenAI は現在、GPU に大きく依存していますインタビューのすべてのトピックは、「OpenAI には GPU が不足している」という点を中心に展開していました。
これにより、短期計画の多くが遅れました。
現在、OpenAI の多くの顧客が API の信頼性と速度について不満を抱いています。 Sam Altman 氏は、主な理由は GPU が短すぎることであると説明しました。
OpenAI は、NVIDIA DGX-1 スーパーコンピューターの最初の顧客です ## 、32,000 トークンをサポートするコンテキストの長さは、まだより多くの人に展開できません。
OpenAI はまだ技術的な障害を克服していないため、今年は 10 万から 100 万のトークンをサポートするコンテキストを備えているように見えますが、研究で画期的な進歩を遂げる必要があります。
Fine-Tuning API も現在、GPU の可用性によって制限されています。
OpenAI は、アダプターや LoRa のような効率的な微調整メソッドをまだ使用していないため、微調整の実行と管理には非常に多くの計算量がかかります。
ただし、将来的には微調整のサポートが強化される予定です。 OpenAI は、コミュニティ提供モデルのマーケットプレイスをホストすることもあります。
最後に、専用容量のプロビジョニングも GPU の可用性によって制限されます。
今年の初めに、顧客が同社の新しい機械学習モデルを専用の容量で実行できるようにするために、OpenAI が新しい開発者プラットフォーム Foundry を密かに立ち上げていることがネチズンによって明らかにされました。
この製品は、「大規模なワークロードを実行する最先端の顧客向けに設計されています」。このサービスを利用するには、顧客は前払いで 10 万ドルを支払う必要があります。
しかし、公開されている写真情報からも分かるように、この作例は決して安価なものではない。
GPT-3.5 の軽量バージョンを実行するには、3 か月の委任で 78,000 ドル、1 年間で 264,000 ドルの費用がかかります。
裏を返せば、GPU の消費量が高額であることもわかります。
Altman 氏は、OpenAI API の暫定的な短期ロードマップを共有しました:
2023 ：
· 速くて安い GPT-4 ーーこれは OpenAI にとって最優先事項です。
一般に、OpenAI の目標は、「スマート コスト」を可能な限り削減することです。そのため、彼らは API のコストを引き続き削減するために懸命に努力するでしょう。
·コンテキスト ウィンドウの延長 - 近い将来、コンテキスト ウィンドウは最大 100 万個のトークンをサポートする可能性があります。
· 微調整 API – 微調整 API は最新モデルに拡張されますが、正確な形式は開発者の内容によって異なります。本当に欲しいです。
·Memory API ーー現状では上記の送信でほとんどのトークンが無駄になっていますが、将来的には会話履歴を記憶できるAPI版も登場予定です。
#2024:
##マルチモーダル機能—GPT -4 はリリース時に強力なマルチモーダル機能を実証しましたが、GPU が満足するまで、この機能をすべての人に拡張することはできません。このプラグインには「PMF がない」ため、短期的には API に表示されなくなります
多くの開発者が ChatGPT プラグインへのアクセスに非常に興味を持っていますAPI を通じて提供されますが、サムは、これらのプラグインはすぐにはリリースされないと言いました。「ブラウジングを除いて、プラグイン システムは PMF を見つけられませんでした。」
ChatGPT を除いて、OpenAI はこれ以上の製品をリリースしません
OpenAI のあらゆる動きは開発者を震え上がらせます。多くの開発者は、OpenAI が競合する製品をリリースする可能性がある場合、OpenAI API を使用してアプリケーションを構築することに不安を感じていると述べました。
そしてAltman氏は、OpenAIはChatGPT以外の製品をこれ以上リリースしないだろうと述べた。
彼の意見では、偉大な企業には「キラー アプリケーション」があり、ChatGPT はこの記録を破るアプリケーションとなるでしょう。
規制は必要ですが、オープンソースも必要です
アルトマン氏は将来のモデルの規制を求めていますが、既存のモデルが危険であるとは考えていません。彼は、既存のモデルを規制したり禁止したりするのは大きな間違いであると信じています。
インタビューの中で、彼はオープンソースの重要性に対する信念を繰り返し述べ、OpenAI が GPT-3 をオープンソースにすることを検討していると述べました。
さて、OpenAI がオープンソースではない理由の 1 つは、大規模なモデルをホストして提供する能力を持っている個人や企業がどれだけあるのかを疑問に思っているからです。
モデルのパフォーマンスの「スケーリング則」は依然として有効です
最近、多くの記事で、巨大な人工知能モデルの時代は終わったと主張しています。しかし、それはアルトマンの当初の意図を正確に反映しているわけではありません。
ただし、OpenAI は、わずか数年でモデルをすでに何百万回もスケールアップしているため、この拡大率を維持することはできません。
これは、OpenAI がモデルを今後も大きくしようとしないという意味ではなく、モデルが複数回注文されるのではなく、おそらく年間 1 倍か 2 倍しか増加しないことを意味します。大きさ。スケーリングの法則が引き続き有効であるという事実は、AGI 開発のスケジュールに重要な意味を持ちます。
スケーリングの前提として、AGI の構築に必要なほとんどの部分がおそらくすでに用意されており、残りの作業のほとんどは、既存のメソッドをより大きなモデルとより大きなデータ セットに拡張することになります。 スケーリングの時代が終わったなら、おそらく AGI の実現はさらに遠くなると予想する必要があります。スケーリングの法則が引き続き有効であるということは、AGI の実装スケジュールが短縮されることを強く示唆しています。 一部のネチズンは、 #OpenAI: 保護しなければならないと冗談を言いました。規制を通じて私たちの堀を守ります。 OpenAI は、Meta が我々の堀に潜んでいると再び言及しました。これは、我々のモデルがオープンソースである必要があることも意味するはずです。 GPT-3 が LLMa のように本当にオープンソースである場合、M1 チップで使用できるようになるまでに約 5 日かかるだろうと言う人もいます。走っています。 コミュニティ開発者は、モデルをオープンソース化することを条件として、OpenAI による GPU ボトルネックの解決を支援できます。数日以内に、開発者は CPU やエッジ デバイス上でそれを実行できるようになります。 GPU 不足に関しては、OpenAI の資本チェーンに問題があり、余裕がないのではないかと考える人もいます。 しかし、明らかに供給が不足していると言う人もいます。チップ製造に革命が起こらない限り、コンシューマー向け GPU と比較して供給不足が常に存在する可能性があります。 Nvidia の価値がまだ過小評価されているのではないかと疑うネチズンもいます。コンピューティング需要の段階的変化は何年にもわたって続く可能性があります... NVIDIA は 1 兆ドルクラブに加わったばかりなので、無制限のコンピューティング パワー需要により、チップ工場が2兆ドルを超える世界。 #参考: ##https://www.php.cn/link /c55d22f5c88cc6f04c0bb2e0025dd70b ##https://www.php.cn/link/d5776aeecb3c45ab15adce6f5cb355f3#ネチズンからの熱いコメント
以上がGPT-3 はオープンソースになる予定です! Sam Altman 氏は、GPU が緊急に必要であること、そして GPT-4 マルチモーダル機能が来年利用可能になることを明らかにしましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
