刪除的Sam Altman 談話紀錄：Open AI 也缺乏 GPU，降低成本是首要目標-人工智慧-PHP中文網

被删除的Sam Altman 谈话纪要：Open AI 也缺 GPU，降低成本是首要目标

12 億美元幾乎全部算力，微軟把「半條命」交給 OpenAI 之後。

作者 | 凌梓郡

編輯 | 衛詩婕

SamAltman 的歐洲之行仍在進行中。不久前，他與人工智慧公司HumanLoop的CEO在倫敦進行了一次私密會談。 HumanLoop 是一家提供在大型語言模型上建立應用程式的服務的公司，其目標是幫助開發者實現這一目標。

HumanLoop 的 CEO Raza Habib 記錄了這次談話的要點，並公開在公司官方網站上。 但隨後在 OpenAI 的要求下，這份紀要被撤下。 這反而增強了外界對這次談話的好奇心。 有人推測，是其中所涉及的 OpenAI 的一些想法有所更改。

極客公園在瀏覽了這份被刪除的談話紀要後，發現其中不僅涉及Sam 眼中對OpenAI 的短期規劃，也隱藏著獲得微軟雲端運算資源大力支持後，OpenAI 所承擔的壓力。 畢竟，模型的微調、推理依舊消耗大量運算資源。 根據 The Information 報導，Open AI 的模型已經花費了 Microsoft Azure 12 億美元， 將運算資源集中在支援 OpenAI，也讓微軟的其他部門可使用的伺服器受限。

對此，Sam 表示降低成本是目前的首要目標。

此外，Sam 也透露：目前，開放更長的上下文視窗、提供微調 API 等服務都受到GPU資源的限制；

#這場對話中，Sam Altman 回應了許多外界關心的問題，例如競爭與商業化：

儘管剛剛招募了一位世界級的產品經理 Peter Deng，但 OpenAI 不會考慮發布更多的產品；
未來的應用趨勢是大模型的功能嵌入更多APPs，而不是在ChatGPT上生長出更多插件，因為現實中大多數插件並沒有呈現出PMF（Product / Market Fit，即產品市場匹配） ;
過去幾年，OpenAI 以數百萬倍的速度擴展模型規模，但這樣的速度不可持續。接下來，OpenAI 會繼續以 1 到 3 倍的速度，增加模型規模，以提升模型效能。

談話紀錄公開於 5 月 29 日，根據網友的記錄，於 6 月 3 日左右刪除。 以下是透過備份獲得的內容：

OpenAI 目前受到

#GPU 的嚴重限制

#隨著對話擴展，

#所需的運算資源呈指數成長

目前 OpenAI 的 GPU 非常有限，這拖延了他們許多短期計畫。客戶最大的抱怨是 API 的可靠性和速度。 Sam 承認他們的擔憂，並解釋說，大部分問題是由於 GPU 短缺。

The longer 32k context can’t yet be rolled out to more people. OpenAI haven’t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 1000 1M token context windows soon (this year) anything bigger would require a research breakthrough.

更長的 32K 上下文還不能提供給更多的人。 OpenAI 還沒有克服注意力機制的 O (n ^ 2) 的擴展問題，儘管看起來，他們很快 (今年) 就會擁有 100k-1M Token 的上下文視窗。任何更大的窗口都需要研究突破。

註：O (n^2) 意味著，隨著序列長度的增加，執行 Attention 計算所需的運算資源呈指數成長。 O 用來描述演算法時間或空間複雜度成長速度的上限或最壞情況；（n^2）表示複雜度與輸入大小的平方成正比。

微調 API 目前也受到 GPU 可用性的限制。 他們還沒有使用像 Adapters 或 LoRa 這樣的高效微調方法，因此，透過微調進行運行和管理（模型）非常計算密集。未來將對微調提供更好的支援。他們甚至可能主持一個基於社區的模型貢獻市場。

專用容量供應受 GPU 可用性的限制。 OpenAI 提供專用容量，為客戶提供模型的私有副本。要獲得這項服務，客戶必須願意承諾預先支付 10 萬美元。

#OpenAI 的近期路線圖

#2023，降低智慧成本；

2024，多模態的有限演示

#Sam 也分享了他所看到的 OpenAI API 臨時近期路線圖。

2023:

更便宜更快的 GPT-4 ーー這是他們的首要任務。總體而言，OpenAI 的目標是盡可能地降低「智慧成本」，因此他們將努力工作，隨著時間的推移繼續降低 API 的成本。
更長的上下文視窗ーー在不久的將來，上下文視窗可能高達 100 萬個 Token。
微調 API ー微調 API 將擴展到最新模型，但具體的形式將取決於開發者表明他們真正想要什麼。
一個有狀態的 API（stateful API) - 當今天呼叫聊天 API 時，你必須反覆通過相同的會話歷史，反覆支付相同的 tokens。將來會有一個版本的 API 可以記住會話歷史記錄。

2024：

#多模態- 這會作為 GPT-4 版本的一部分進行演示，但在更多 GPU 上線之前不能擴展到所有人。

#商業化預判與思考：

外掛程式“沒有 PMF”，

可能不會很快出現在 API 中

很多開發者都對透過 API 存取 ChatGPT 插件感興趣，但 Sam 說他認為這些外掛程式不會很快發布。除了 Brosing 插件之外，其他插件的使用情況顯示還沒有 PMF（Product/Market Fit）。 他指出，許多人認為他們希望自己的應用程式位於 ChatGPT 之內，但他們真正想要的是 ChatGPT 存在於應用程式中。

#除了 ChatGPT，

OpenAI 將避免與其客戶競爭

偉大的公司都有

#一個殺手級應用程式

#不少開發者表示，他們對使用 OpenAI API 開發感到緊張，因為 OpenAI 最終可能會發布對他們有競爭力的產品。 Sam 說，OpenAI 不會在 ChatGPT 之外發布更多的產品。 他說，歷史上，偉大的平台公司有一個殺手級應用程式。 ChatGPT 將允許開發者成為自己產品的客戶來改進 API。 ChatGPT 的願景是成為一個超級聰明的工作助理，但許多其他的 GPT 用例，OpenAI 不會涉及。

#需要監管，

#但不是現在

「我對多少個人和公司

有能力持有大模型表示懷疑」

雖然 Sam 呼籲對未來的模型進行監管，但他認為現有模型並不危險，認為監管或禁止它們是一個大錯誤。他再次強調了開源的重要性，並表示 OpenAI 正在考慮將 GPT-3 開源。 他們還沒有開源，部分原因是他對有多少個人和公司有能力持有和服務大型語言模型（LLMs）表示懷疑。

#規模定律仍然適用

#幾年數百萬倍的擴展速度，

不可能一直持續下去

#最近有很多文章聲稱「巨型 AI 模型的時代已經過去」。這並不準確。（註：在 4 月一場在 MIT 的活動中，Sam Altman 曾經表示：我們現在已經接近巨大模型時代的尾聲。）

OpenAI 的內部數據表明，模型性能的規模定律仍然適用，增加模型的大小將繼續提高性能。

由於 OpenAI 在短短幾年內就將模型擴大了數百萬倍，這樣的擴展速度不可能持續下去。 這並不意味著 OpenAI 不會繼續嘗試把模型做得更大，而是意味著，它們每年的規模可能會增加一倍或三倍，而不是增加許多數量級。

規模定律有效對 AGI 開發時間線有重要意義。 規模定律的假設是我們可能已經具備建構 AGI 所需的大部分要素，並且剩下的工作，主要是將現有方法擴展到更大的模型和更大的資料集。如果規模的時代已經過去，那麼我們可能會離 AGI 更遠。規模定律繼續適用的事實，強烈暗示著更短的時間線。