HumanLoop CEO の Raza Habib 氏は会話のハイライトを記録し、同社の Web サイトで公開しました。しかしその後、OpenAIの要請により、議事録は撤回された。これにより、その会話に対する外部の人々の好奇心が高まりました。この変更には OpenAI の考え方の一部が関与しているのではないかと推測する人もいます。
Geek Park 氏は、削除された会話議事録を閲覧したところ、Sam 氏の目には OpenAI の短期計画が含まれているだけでなく、Microsoft のクラウド コンピューティング リソースから強力なサポートを受けた後、OpenAI に対する圧力が隠蔽されていたことがわかりました。結局のところ、モデルの微調整と推論は依然として大量のコンピューティング リソースを消費します。 The Information によると、Open AI のモデルでは Microsoft Azure に 12 億ドルの費用がかかり、OpenAI のサポートにコンピューティング リソースが集中し、Microsoft の他の部門が利用できるサーバーが制限されています。
この点に関して、サム氏はコスト削減が現時点の主な目標であると述べた。
さらに、Sam 氏は、現在、より長いコンテキスト ウィンドウを開いたり、微調整 API を提供したりするサービスが GPU リソースによって制限されていることも明らかにしました。
多くの開発者は、OpenAI が最終的に API と競合する製品をリリースする可能性があるため、OpenAI API を使用して開発することに不安を感じていると述べました。 Sam 氏は、OpenAI が ChatGPT 以外の製品をこれ以上リリースすることはないと述べました。歴史的に、優れたプラットフォーム企業にはキラーアプリがあったと同氏は言う。 ChatGPT を使用すると、開発者は自分の製品の顧客になって API を改善できるようになります。 ChatGPT のビジョンは、超インテリジェントな作業アシスタントになることですが、OpenAI が関与しない GPT のユースケースは他にもたくさんあります。
サム・アルトマンの講演議事録を削除: オープン AI には GPU も不足しており、コスト削減が主な目標です
著者 | 霊子県
編集者 | 魏時傑
出典丨Geek Park
サムアルトマンのヨーロッパツアーはまだ進行中です。少し前、ロンドンでAI企業HumanLooopのCEOと非公開で話し合った。 HumanLoop は、開発者が大規模な言語モデルに基づいてアプリケーションを構築するのを支援する会社です。
HumanLoop CEO の Raza Habib 氏は会話のハイライトを記録し、同社の Web サイトで公開しました。しかしその後、OpenAIの要請により、議事録は撤回された。これにより、その会話に対する外部の人々の好奇心が高まりました。この変更には OpenAI の考え方の一部が関与しているのではないかと推測する人もいます。
Geek Park 氏は、削除された会話議事録を閲覧したところ、Sam 氏の目には OpenAI の短期計画が含まれているだけでなく、Microsoft のクラウド コンピューティング リソースから強力なサポートを受けた後、OpenAI に対する圧力が隠蔽されていたことがわかりました。結局のところ、モデルの微調整と推論は依然として大量のコンピューティング リソースを消費します。 The Information によると、Open AI のモデルでは Microsoft Azure に 12 億ドルの費用がかかり、OpenAI のサポートにコンピューティング リソースが集中し、Microsoft の他の部門が利用できるサーバーが制限されています。
この点に関して、サム氏はコスト削減が現時点の主な目標であると述べた。
さらに、Sam 氏は、現在、より長いコンテキスト ウィンドウを開いたり、微調整 API を提供したりするサービスが GPU リソースによって制限されていることも明らかにしました。
この会話の中で、サム・アルトマンは、競争や商業化など、外部の多くの懸念に対して次のように答えました。
OpenAI は、世界クラスのプロダクト マネージャーである Peter Deng を雇用したばかりにもかかわらず、これ以上の製品をリリースすることは考えていません。
将来のアプリケーションのトレンドは、ChatGPT でプラグインを増やすのではなく、大規模モデルの機能をより多くの APP に埋め込むことです。実際には、ほとんどのプラグインは PMF (Product / Market Fit、つまり製品と市場の適合性) を示さないからです。 );
過去数年間で、OpenAI はモデルのサイズを何百万倍も拡大しましたが、この速度は持続可能ではありません。次に、OpenAI はモデルのパフォーマンスを向上させるために、モデル サイズを 1 ～ 3 倍の割合で増加し続けます。
ネットユーザーの記録によると、会話の議事録は5月29日に公開され、6月3日頃に削除された。バックアップによって得られるものは次のとおりです。
01、OpenAI は現在、GPU によって大幅に制限されています
会話が拡大するにつれて、必要なコンピューティング リソースは飛躍的に増大します
OpenAI が現在保有している GPU は非常に限られており、そのため短期計画の多くが遅れています。顧客からの最大の不満は API の信頼性と速度です。 Sam は彼らの懸念を認め、問題のほとんどは GPU の不足によるものだと説明しました。
より長い 32,000 のコンテキストをより多くの人に展開することはまだできません。 OpenAI は注目度の O(n^2) スケーリングを克服していないため、近いうち (今年) 10 万から 100 万のトークン コンテキスト ウィンドウを実現するのはもっともらしいと思われますが、それより大きなものには研究のブレークスルーが必要です。
より長い 32K コンテキストをより多くの人が利用できるわけではありません。 OpenAI は、アテンション メカニズムの O(n^2) スケーリングの問題をまだ克服していませんが、間もなく (今年) 100k ～ 1M トークンのコンテキスト ウィンドウが提供されるようです。これより大きなウィンドウを実現するには、研究の画期的な進歩が必要になります。
*注意: O (n^2) は、シーケンスの長さが増加するにつれて、アテンション計算の実行に必要なコンピューティング リソースが指数関数的に増加することを意味します。 O は、アルゴリズムの時間または空間の複雑さの増加率の上限または最悪のケースを表すために使用されます。(n^2) は、複雑さが入力サイズの 2 乗に比例することを意味します。 *
微調整 API も現在、GPU の可用性によって制限されています。アダプターや LoRa のような効率的な微調整方法を使用していないため、微調整による (モデルの) 実行と管理は非常に多くの計算量を必要とします。将来的には、微調整のサポートがさらに強化される予定です。モデルへの貢献を目的としたコミュニティベースのマーケットを主催することもあります。
専用容量のプロビジョニングは、GPU の可用性によって制限されます。 OpenAI は専用の容量を提供し、顧客にモデルのプライベート コピーを提供します。サービスを受けるには、顧客は前払いで 10 万ドルを支払うことを約束する必要があります。
02、OpenAI の最近のロードマップ
2023 年、賢明なコスト削減、2024 年、マルチモダリティの限定的な実証
Sam 氏はまた、OpenAI API の暫定的な短期ロードマップとして考えていることも共有しました。
2023:
より安くて速い GPT-4 - それが彼らの最優先事項です。全体として、OpenAI の目標は「インテリジェンスのコスト」を可能な限り削減することであるため、今後も API のコストを削減し続けるよう努力する予定です。
コンテキスト ウィンドウが長くなる — 近い将来、コンテキスト ウィンドウは 100 万トークンに達する可能性があります。
微調整 API — 微調整 API は最新モデルに拡張されますが、正確な形式は開発者が本当に望むものによって異なります。
ステートフル API - 現在、チャット API を呼び出す場合、同じセッション履歴を何度も調べて、同じトークンを何度も支払う必要があります。セッション履歴を記憶する API の将来のバージョンが登場する予定です。
2024：
マルチモーダル - これは GPT-4 リリースの一部としてデモされていますが、より多くの GPU がオンラインになるまで、すべての人に拡張されるわけではありません。
03. コマーシャルの予測と考え方: 「PMF なし」のプラグインはすぐに API に登場しない可能性があります
多くの開発者は API を通じて ChatGPT プラグインにアクセスできるようにすることに興味を持っていますが、サム氏はそれらがすぐにリリースされるとは思わないと述べました。 Brosing プラグインに加えて、他のプラグインを使用すると、PMF (Product/Market Fit) が存在しないことがわかります。彼は、多くの人が自分のアプリを ChatGPT 内に入れたいと考えているが、実際に望んでいるのはアプリ内の ChatGPT であると指摘しました。
04. ChatGPT を除き、OpenAI は顧客との競合を回避します
偉大な企業はキラーアプリを持っています
多くの開発者は、OpenAI が最終的に API と競合する製品をリリースする可能性があるため、OpenAI API を使用して開発することに不安を感じていると述べました。 Sam 氏は、OpenAI が ChatGPT 以外の製品をこれ以上リリースすることはないと述べました。歴史的に、優れたプラットフォーム企業にはキラーアプリがあったと同氏は言う。 ChatGPT を使用すると、開発者は自分の製品の顧客になって API を改善できるようになります。 ChatGPT のビジョンは、超インテリジェントな作業アシスタントになることですが、OpenAI が関与しない GPT のユースケースは他にもたくさんあります。
05. 規制は必要ですが、今は必要ありません
「大きなモデルを保持できる人や企業がどれだけあるのか、私は懐疑的です。」
サム氏は将来のモデルを規制するよう求めたが、既存のモデルが危険であるとは考えておらず、それらを規制したり禁止したりするのは大きな間違いであると考えている。同氏はオープンソースの重要性を改めて強調し、OpenAIはGPT-3をオープンソースにすることを検討していると述べた。これらはまだオープンソース化されていません。その理由の 1 つは、どれだけの個人や企業が大規模言語モデル (LLM) を保持して提供できるかについて、同氏が懐疑的であるためです。
06. 規模の法則は依然として適用されます
数年で何百万倍という膨張速度が永遠に続くわけがない。
最近「巨大AIモデルの時代は終わった」と主張する記事が多い。これは正確ではありません。 (注: 4 月に MIT で行われたイベントで、サム アルトマンは次のように述べました。「私たちは今や巨大モデルの時代の終わりに近づいています。)
OpenAI の内部データは、モデルのパフォーマンスのスケーリングの法則が依然として適用されており、モデルのサイズを増やすと引き続きパフォーマンスが向上することを示しています。
OpenAI はわずか数年でモデルを何百万倍もスケールアップしたため、このスケーリング速度を維持することはできません。これは、OpenAI がモデルの大型化を試み続けないという意味ではありませんが、モデルのサイズが桁違いではなく、毎年 2 倍または 3 倍になる可能性が高いことを意味します。
規模の法則が有効であるという事実は、AGI の開発スケジュールに重要な意味を持ちます。スケールの法則の前提は、AGI を構築するために必要なほとんどの要素がおそらくすでに揃っており、残りの作業は主に既存の手法をより大きなモデルとより大きなデータセットに拡張することであるということです。スケールの時代が終わったら、私たちはAGIからさらに遠ざかってしまうかもしれません。サイズの法則が引き続き適用されるという事実は、スケジュールが短縮されることを強く示唆しています。