被刪除的Sam Altman 談話紀要：Open AI 也缺GPU，降低成本是首要目標

作者| 凌梓郡

編輯| 衛詩婕

來源丨極客公園

圖片來源：由無界AI工俱生成

SamAltman 的歐洲之行仍在進行中。前不久，在倫敦，他和AI 公司HumanLooop 的CEO 進行了一次閉門討論。 HumanLoop 是一家幫助開發者在大語言模型上構建應用的公司。

HumanLoop 的CEO Raza Habib 記錄了這次談話的要點，並公開在公司官網上。但隨後在OpenAI 的要求下，這份紀要被撤下。這反而增強了外界對這次談話的好奇心。有人推測，是其中所涉及的OpenAI 的一些想法有所更改。

極客公園在瀏覽了這份被刪除的談話紀要後，發現其中不僅涉及Sam 眼中對OpenAI 的短期規劃，也隱藏著獲得微軟雲計算資源大力支持後，OpenAI 所承擔的壓力。畢竟，模型的微調、推理依舊消耗大量計算資源。據The Information 報導，Open AI 的模型已經花費了Microsoft Azure 12 億美元，將計算資源集中於支持OpenAI，也讓微軟的其他部門可使用的服務器受限。

對此，Sam 表示降低成本是目前的首要目標。

此外，Sam 還透露：目前，開放更長的上下文窗口、提供微調API 等服務都受到GPU資源的限制；

這場對話中，Sam Altman 回應了許多外界關心的問題，比如競爭與商業化：

儘管剛剛招聘了一位世界級的產品經理Peter Deng，但OpenAI 不會考慮發布更多的產品；

未來的應用趨勢是大模型的功能嵌入更多APPs，而不是在ChatGPT上生長出更多插件，因為現實中大多數插件並沒有呈現出PMF（Product / Market Fit，即產品市場匹配）；

過去幾年，OpenAI 以數百萬倍的速度擴展模型規模，但這樣的速度不可持續。接下來，OpenAI 會繼續以1 到3 倍的速度，增加模型規模，以提升模型性能。

談話紀要公開於5 月29 日，根據網友的記錄，於6 月3 日左右刪除。以下是通過備份獲得的內容：

01、OpenAI 目前受到GPU 的嚴重限制

隨著對話擴展，所需的計算資源呈指數增長

目前OpenAI 的GPU 非常有限，這拖延了他們許多短期計劃。客戶最大的抱怨是API 的可靠性和速度。 Sam 承認他們的擔憂，並解釋說，大部分問題是由於GPU 短缺。

更長的 32k 上下文還不能推廣給更多人。 OpenAI 還沒有克服注意力的 O(n^2) 縮放，因此雖然他們很快就會有 100k - 1M 令牌上下文窗口（今年）似乎有道理，但任何更大的東西都需要研究突破。

更長的32K 上下文還不能提供給更多的人。 OpenAI 還沒有克服注意力機制的O (n ^ 2) 的擴展問題，儘管看起來，他們很快(今年) 就會擁有100k-1M Token 的上下文窗口。任何更大的窗口都需要研究突破。

*注：O (n^2) 意味著，隨著序列長度的增加，執行Attention 計算所需的計算資源呈指數增長。 O 用來描述算法時間或空間複雜度增長速度的上限或最壞情況；（n^2）表示複雜度與輸入大小的平方成正比。 *

微調API 目前也受到GPU 可用性的限制。他們還沒有使用像Adapters 或LoRa 這樣的高效微調方法，因此，通過微調進行運行和管理（模型）非常計算密集。未來將對微調提供更好的支持。他們甚至可能主持一個基於社區的模型貢獻市場。

專用容量供應受GPU 可用性的限制。 OpenAI 提供專用容量，為客戶提供模型的私有副本。要獲得這項服務，客戶必須願意承諾預先支付10 萬美元。

02、OpenAI 的近期路線圖

2023，降低智能成本；2024，多模態的有限演示

Sam 也分享了他所看到的OpenAI API 臨時近期路線圖。

2023：

更便宜更快的GPT-4 ーー這是他們的首要任務。總體而言，OpenAI 的目標是盡可能地降低「智能成本」，因此他們將努力工作，隨著時間的推移繼續降低API 的成本。

更長的上下文窗口ーー在不久的將來，上下文窗口可能高達100 萬個Token。

微調API ー微調API 將擴展到最新模型，但具體的形式將取決於開發者表明他們真正想要什麼。

一個有狀態的API（stateful API) - 當今天調用聊天API 時，你必須反复通過相同的會話歷史，反复支付相同的tokens。將來會有一個版本的API 可以記住會話歷史記錄。

2024：

多模態- 這作為GPT-4 版本的一部分進行演示，但在更多GPU 上線之前不能擴展到所有人。

03、商業化預判和思考：插件「沒有PMF」，可能不會很快出現在API 中

很多開發者都對通過API 訪問ChatGPT 插件感興趣，但Sam 說他認為這些插件不會很快發布。除了Brosing 插件之外，其他插件的使用情況表明還沒有PMF（Product/Market Fit）。他指出，很多人認為他們希望自己的應用程序位於ChatGPT 之內，但他們真正想要的是ChatGPT 存在於應用中。

04、除了ChatGPT，OpenAI 將避免與其客戶競爭

偉大的公司都有一個殺手級應用

不少開發者表示，他們對使用OpenAI API 開發感到緊張，因為OpenAI 最終可能發布對他們有競爭力的產品。 Sam 說， OpenAI 不會在ChatGPT 之外發布更多的產品。他說，歷史上，偉大的平台公司有一個殺手級應用。 ChatGPT 將允許開發者成為自己產品的客戶來改進API。 ChatGPT 的願景是成為一個超級智能的工作助理，但很多其他的GPT 用例，OpenAI 不會涉及。

05、需要監管，但不是現在

「我對多少個人和公司，有能力持有大模型表示懷疑」

雖然Sam 呼籲對未來的模型進行監管，但他認為現有模型並不危險，認為監管或禁止它們是一個大錯誤。他再次強調了開源的重要性，並表示OpenAI 正在考慮將GPT-3 開源。他們還沒有開源，部分原因是他對有多少個人和公司有能力持有和服務大型語言模型（LLMs）表示懷疑。

06、規模定律仍然適用

幾年數百萬倍的擴展速度，不可能一直持續下去。

最近有很多文章聲稱「巨型AI 模型的時代已經過去」。這並不准確。 （注：在4 月一場在MIT 的活動中，Sam Altman 曾經表示：我們現在已經接近巨大模型時代的尾聲。）

OpenAI 的內部數據表明，模型性能的規模定律仍然適用，增加模型的大小將繼續提高性能。

由於OpenAI 在短短幾年內就將模型擴大了數百萬倍，這樣的擴展速度不可能持續下去。這並不意味著OpenAI 不會繼續嘗試把模型做得更大，而是意味著，它們每年的規模可能會增加一倍或三倍，而不是增加許多數量級。

規模定律有效對AGI 開發時間線有重要意義。規模定律的假設是我們可能已經具備構建AGI 所需的大部分要素，並且剩下的工作，主要是將現有方法擴展到更大的模型和更大的數據集上。如果規模的時代已經過去，那麼我們可能會離AGI 更遙遠。規模定律繼續適用的事實，強烈暗示著更短的時間線。