Altman, AI'nın geleceğinin düzenlenmesi çağrısında bulunurken, mevcut modelin tehlikeli olduğunu düşünmüyor ve onu düzenlemenin veya yasaklamanın büyük bir hata olacağını düşünüyor.
·OpenAI'nin dahili verileri, model performansının ölçeklendirme yasalarının (Ölçeklendirme yasaları) hala yürürlükte olduğunu ve modeli büyütmenin performans üretmeye devam edeceğini gösteriyor.
Resim kaynağı: Unbounded AI aracı tarafından oluşturulmuştur
Geçen hafta, aralarında OpenAI CEO'su Sam Altman ve AI geliştirme platformu HumanLoop CEO'su Raza Habib'in de bulunduğu 20'den fazla geliştirici, OpenAI'nin API'sini (uygulama programlama arayüzü) ve ürün planlarını tartışmak için kapalı bir toplantı düzenledi. Birkaç gün sonra Raza Habibi, toplantının önemli noktalarının ayrıntılı bir özetini yayınladı.
Tartışmada Altman, OpenAI'nin şu anda GPU (grafik işleme birimi) tarafından sınırlandırıldığını çok açık bir şekilde kabul etti ve GPT-3'ün açık kaynak planı, OpenAI'nin şu anki en büyük önceliği ve yapay zekanın sosyal etkisi hakkında konuştu. Altman, AI'nın geleceğinin düzenlenmesi için çağrıda bulunurken, mevcut modeli tehlikeli olarak görmüyor.
Altman ayrıca OpenAI'nin dahili verilerinin, modelin performansının ölçekle orantılı olduğu yasasının hala geçerli olduğunu gösterdiğini, yani model ne kadar büyükse performansın o kadar güçlü olduğunu söyledi. OpenAI, modelleri büyütmeye çalışmaya devam edecek, ancak boyutları büyük olasılıkla her yıl yalnızca ikiye veya üçe katlanacak, pek çok büyüklük sırasına göre değil.
Şu anda GPU tarafından ciddi şekilde sınırlandırılmıştır
Tartışma boyunca yinelenen bir tema, OpenAI'nin GPU'lara olan mevcut yoğun güveninin kısa vadeli planlarının çoğunu geciktirdiğiydi.
OpenAI, API'nin güvenilirliği ve hızı hakkında en çok kullanıcı şikayetini aldı. Altman onların endişelerini anladı ve sorunun çoğunun GPU kaynaklarının yetersizliğinden kaynaklandığını açıkladı.
Daha önce ChatGPT tarafından desteklenen 32k belirteç bağlam işlevi daha fazla kişiye tanıtılamaz ve OpenAI'nin hala çözülmesi gereken bazı sorunları vardır, bu nedenle yakında 100k-1M belirteç bağlam penceresine sahip olsalar da, yine de araştırma atılımında elde edilmeleri gerekir.
İnce ayar API'si de şu anda GPU kaynaklarıyla sınırlıdır. Adaptörler veya LoRa (iki yaygın büyük ölçekli model ince ayar yöntemi) gibi etkili ince ayar yöntemlerini henüz kullanmadılar, bu nedenle ince ayar işlemi ve yönetimi, hesaplama açısından çok kaynak yoğun. Gelecekte ince ayar yapmanın daha iyi yolları olacak. Topluluğun katkıda bulunduğu modeller için bir pazar yeri bile barındırabilirler.
Ayrılmış kapasite sağlama, GPU kaynaklarıyla da sınırlıdır. OpenAI, özel ihtiyaçları olan müşteriler için özel kapasite sunarak müşterilerin özel verileri ayrılmış bir alanda çalıştırmalarına olanak tanır. Bu hizmete erişmek için müşterilerin 100.000 ABD Doları tutarında bir avans taahhüt etmesi gerekir.
OpenAI Yol Haritası
Sam, OpenAI'nin API'si için geçici bir kısa vadeli yol haritası paylaştı.
2023'te ilk görev, daha ucuz ve daha hızlı GPT-4'e ulaşmak; ikincisi, daha uzun bir bağlam penceresi - yakın gelecekte, bağlam penceresi 1 milyon jetona ulaşabilir; üçüncüsü, ince ayar API'si genişleyecek son model, ancak özel biçim, geliştiricilerin gerçek ihtiyaçlarına göre belirlenecektir; dördüncüsü, durum bilgisi olan bir API - bugün sohbet API'sini çağırırken, aynı konuşma geçmişini tekrar tekrar geçmek ve aynı belirteçleri tekrar tekrar ödemek gerekir. , konuşma geçmişini hatırlayan bir API sürümü olacaktır.
2024'te çok modlu yetenekler açılacak. GPT-4 piyasaya sürüldüğünde, güçlü çok modlu yetenekler gösterdi, ancak GPU'lar tatmin olana kadar bu yetenek herkese genişletilemez.
Birçok geliştirici, API üzerinden ChatGPT eklentilerine erişmekle ilgileniyor ancak Altman, bu eklentilerin kısa vadede piyasaya sürüleceğini düşünmüyor. Göz atmaya ek olarak, eklenti sistemi henüz PMF'yi (Ürün Pazarı Uyumu, ürün ve pazar arasındaki en iyi uyum) bulamadı.
Altman, pek çok kişinin uygulamalarının ChatGPT içinde olmasını istediğini düşündüğünü, ancak asıl istediklerinin uygulama içinde ChatGPT olduğunu belirtti.
Altman, OpenAI'nin ChatGPT'den daha fazla ürün yayınlamayacağını söyledi.
Geleneksel olarak harika bir platformun harika bir uygulaması olacağını ve ChatGPT'nin bu rekor kıran uygulamayı yapacağını söyledi. ChatGPT'nin vizyonu, iş için süper akıllı bir asistan olmaktır, ancak OpenAI'nin dokunmadığı başka birçok GPT kullanım durumu vardır.
Ölçeklendirme yasaları hâlâ geçerlidir
Altman, AI'nın geleceğinin düzenlenmesi çağrısında bulunurken, mevcut modelin tehlikeli olduğunu düşünmüyor ve onu düzenlemenin veya yasaklamanın büyük bir hata olacağını düşünüyor.
Açık kaynağın önemine olan inancını yineledi ve OpenAI'nin GPT-3'ü açık kaynak yapmayı düşündüğünü söyledi. Açık kaynak olmamasının nedeni, pek çok kişinin ve şirketin bu kadar büyük bir dil modelini düzgün bir şekilde yönetme yeteneğine sahip olmadığını düşünmeleridir.
Son zamanlarda yayınlanan birçok makale, Altman'ın "dev AI modelleri çağının sona erdiğini" söylediğinden alıntı yapıyor, ancak bu, onun orijinal anlamını tam olarak yansıtmıyor. OpenAI'nin dahili verilerinin, model performansının ölçeklendirme yasalarının (Ölçeklendirme yasaları) hala yürürlükte olduğunu gösterdiğini, modeli büyütmenin performans üretmeye devam edeceğini söyledi. OpenAI modeli sadece birkaç yıl içinde milyonlarca kez büyüttüğü ve gelecekte bunu yapmaya devam etmesi sürdürülebilir olmadığı için ölçeklendirme oranı gerçekten sürdürülemez. Bu, OpenAI'nin modelleri büyütmeye devam etmeyeceği anlamına gelmez, bu sadece muhtemelen birçok büyüklük sırası yerine her yıl iki veya üç katına çıkacakları anlamına gelir.
Altman, ölçeklendirme yasalarının geçerli olmaya devam etmesi gerçeğinin AGI (yapay genel zeka) geliştirme zaman çizelgeleri için önemli etkileri olduğunu söyledi. Ölçeklendirme yasası, AGI oluşturmak için gereken parçaların çoğuna zaten sahip olduğumuzu ve geriye kalan işlerin çoğunun mevcut yöntemleri daha büyük modellere ve daha büyük veri kümelerine ölçeklendirmek olacağını varsayar. Ölçeklendirme yasaları dönemi sona ererse, muhtemelen AGI'nin çok uzakta olmasını beklemeliyiz. Ölçeklendirme yasalarının işlemeye devam etmesi, AGI'ye ulaşmak için kısa bir zaman çizelgesine güçlü bir şekilde işaret ediyor.
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Altman'ın son ifşası: acil bir GPU sıkıntısı var ve gelecek yıl açık kaynak GPT-3'ü ve çoklu modaliteyi açmayı planlıyor
Kaynak: Kağıt
Muhabir Shao Wen
Altman, AI'nın geleceğinin düzenlenmesi çağrısında bulunurken, mevcut modelin tehlikeli olduğunu düşünmüyor ve onu düzenlemenin veya yasaklamanın büyük bir hata olacağını düşünüyor.
·OpenAI'nin dahili verileri, model performansının ölçeklendirme yasalarının (Ölçeklendirme yasaları) hala yürürlükte olduğunu ve modeli büyütmenin performans üretmeye devam edeceğini gösteriyor.
Geçen hafta, aralarında OpenAI CEO'su Sam Altman ve AI geliştirme platformu HumanLoop CEO'su Raza Habib'in de bulunduğu 20'den fazla geliştirici, OpenAI'nin API'sini (uygulama programlama arayüzü) ve ürün planlarını tartışmak için kapalı bir toplantı düzenledi. Birkaç gün sonra Raza Habibi, toplantının önemli noktalarının ayrıntılı bir özetini yayınladı.
Tartışmada Altman, OpenAI'nin şu anda GPU (grafik işleme birimi) tarafından sınırlandırıldığını çok açık bir şekilde kabul etti ve GPT-3'ün açık kaynak planı, OpenAI'nin şu anki en büyük önceliği ve yapay zekanın sosyal etkisi hakkında konuştu. Altman, AI'nın geleceğinin düzenlenmesi için çağrıda bulunurken, mevcut modeli tehlikeli olarak görmüyor.
Altman ayrıca OpenAI'nin dahili verilerinin, modelin performansının ölçekle orantılı olduğu yasasının hala geçerli olduğunu gösterdiğini, yani model ne kadar büyükse performansın o kadar güçlü olduğunu söyledi. OpenAI, modelleri büyütmeye çalışmaya devam edecek, ancak boyutları büyük olasılıkla her yıl yalnızca ikiye veya üçe katlanacak, pek çok büyüklük sırasına göre değil.
Şu anda GPU tarafından ciddi şekilde sınırlandırılmıştır
Tartışma boyunca yinelenen bir tema, OpenAI'nin GPU'lara olan mevcut yoğun güveninin kısa vadeli planlarının çoğunu geciktirdiğiydi.
OpenAI, API'nin güvenilirliği ve hızı hakkında en çok kullanıcı şikayetini aldı. Altman onların endişelerini anladı ve sorunun çoğunun GPU kaynaklarının yetersizliğinden kaynaklandığını açıkladı.
Daha önce ChatGPT tarafından desteklenen 32k belirteç bağlam işlevi daha fazla kişiye tanıtılamaz ve OpenAI'nin hala çözülmesi gereken bazı sorunları vardır, bu nedenle yakında 100k-1M belirteç bağlam penceresine sahip olsalar da, yine de araştırma atılımında elde edilmeleri gerekir.
İnce ayar API'si de şu anda GPU kaynaklarıyla sınırlıdır. Adaptörler veya LoRa (iki yaygın büyük ölçekli model ince ayar yöntemi) gibi etkili ince ayar yöntemlerini henüz kullanmadılar, bu nedenle ince ayar işlemi ve yönetimi, hesaplama açısından çok kaynak yoğun. Gelecekte ince ayar yapmanın daha iyi yolları olacak. Topluluğun katkıda bulunduğu modeller için bir pazar yeri bile barındırabilirler.
Ayrılmış kapasite sağlama, GPU kaynaklarıyla da sınırlıdır. OpenAI, özel ihtiyaçları olan müşteriler için özel kapasite sunarak müşterilerin özel verileri ayrılmış bir alanda çalıştırmalarına olanak tanır. Bu hizmete erişmek için müşterilerin 100.000 ABD Doları tutarında bir avans taahhüt etmesi gerekir.
OpenAI Yol Haritası
Sam, OpenAI'nin API'si için geçici bir kısa vadeli yol haritası paylaştı.
2023'te ilk görev, daha ucuz ve daha hızlı GPT-4'e ulaşmak; ikincisi, daha uzun bir bağlam penceresi - yakın gelecekte, bağlam penceresi 1 milyon jetona ulaşabilir; üçüncüsü, ince ayar API'si genişleyecek son model, ancak özel biçim, geliştiricilerin gerçek ihtiyaçlarına göre belirlenecektir; dördüncüsü, durum bilgisi olan bir API - bugün sohbet API'sini çağırırken, aynı konuşma geçmişini tekrar tekrar geçmek ve aynı belirteçleri tekrar tekrar ödemek gerekir. , konuşma geçmişini hatırlayan bir API sürümü olacaktır.
2024'te çok modlu yetenekler açılacak. GPT-4 piyasaya sürüldüğünde, güçlü çok modlu yetenekler gösterdi, ancak GPU'lar tatmin olana kadar bu yetenek herkese genişletilemez.
Birçok geliştirici, API üzerinden ChatGPT eklentilerine erişmekle ilgileniyor ancak Altman, bu eklentilerin kısa vadede piyasaya sürüleceğini düşünmüyor. Göz atmaya ek olarak, eklenti sistemi henüz PMF'yi (Ürün Pazarı Uyumu, ürün ve pazar arasındaki en iyi uyum) bulamadı.
Altman, pek çok kişinin uygulamalarının ChatGPT içinde olmasını istediğini düşündüğünü, ancak asıl istediklerinin uygulama içinde ChatGPT olduğunu belirtti.
Altman, OpenAI'nin ChatGPT'den daha fazla ürün yayınlamayacağını söyledi.
Geleneksel olarak harika bir platformun harika bir uygulaması olacağını ve ChatGPT'nin bu rekor kıran uygulamayı yapacağını söyledi. ChatGPT'nin vizyonu, iş için süper akıllı bir asistan olmaktır, ancak OpenAI'nin dokunmadığı başka birçok GPT kullanım durumu vardır.
Ölçeklendirme yasaları hâlâ geçerlidir
Altman, AI'nın geleceğinin düzenlenmesi çağrısında bulunurken, mevcut modelin tehlikeli olduğunu düşünmüyor ve onu düzenlemenin veya yasaklamanın büyük bir hata olacağını düşünüyor.
Açık kaynağın önemine olan inancını yineledi ve OpenAI'nin GPT-3'ü açık kaynak yapmayı düşündüğünü söyledi. Açık kaynak olmamasının nedeni, pek çok kişinin ve şirketin bu kadar büyük bir dil modelini düzgün bir şekilde yönetme yeteneğine sahip olmadığını düşünmeleridir.
Son zamanlarda yayınlanan birçok makale, Altman'ın "dev AI modelleri çağının sona erdiğini" söylediğinden alıntı yapıyor, ancak bu, onun orijinal anlamını tam olarak yansıtmıyor. OpenAI'nin dahili verilerinin, model performansının ölçeklendirme yasalarının (Ölçeklendirme yasaları) hala yürürlükte olduğunu gösterdiğini, modeli büyütmenin performans üretmeye devam edeceğini söyledi. OpenAI modeli sadece birkaç yıl içinde milyonlarca kez büyüttüğü ve gelecekte bunu yapmaya devam etmesi sürdürülebilir olmadığı için ölçeklendirme oranı gerçekten sürdürülemez. Bu, OpenAI'nin modelleri büyütmeye devam etmeyeceği anlamına gelmez, bu sadece muhtemelen birçok büyüklük sırası yerine her yıl iki veya üç katına çıkacakları anlamına gelir.
Altman, ölçeklendirme yasalarının geçerli olmaya devam etmesi gerçeğinin AGI (yapay genel zeka) geliştirme zaman çizelgeleri için önemli etkileri olduğunu söyledi. Ölçeklendirme yasası, AGI oluşturmak için gereken parçaların çoğuna zaten sahip olduğumuzu ve geriye kalan işlerin çoğunun mevcut yöntemleri daha büyük modellere ve daha büyük veri kümelerine ölçeklendirmek olacağını varsayar. Ölçeklendirme yasaları dönemi sona ererse, muhtemelen AGI'nin çok uzakta olmasını beklemeliyiz. Ölçeklendirme yasalarının işlemeye devam etmesi, AGI'ye ulaşmak için kısa bir zaman çizelgesine güçlü bir şekilde işaret ediyor.