Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas
Tur Eropa SamAltman masih berlangsung. Belum lama ini, di London, dia melakukan diskusi tertutup dengan CEO perusahaan AI HumanLooop. HumanLoop adalah perusahaan yang membantu pengembang membangun aplikasi pada model bahasa besar.
CEO HumanLoop Raza Habib merekam sorotan percakapan tersebut dan mempublikasikannya di situs web perusahaan. Tapi kemudian atas permintaan OpenAI, risalah itu ditarik. Hal ini pada gilirannya meningkatkan keingintahuan dunia luar tentang percakapan tersebut. Beberapa berspekulasi bahwa beberapa pemikiran OpenAI terlibat dalam perubahan ini.
Geek Park, setelah menelusuri menit-menit percakapan yang dihapus, menemukan bahwa itu tidak hanya melibatkan perencanaan jangka pendek OpenAI di mata Sam, tetapi juga menyembunyikan tekanan pada OpenAI setelah menerima dukungan kuat dari sumber daya komputasi awan Microsoft. Lagi pula, penyempurnaan model dan penalaran masih menghabiskan banyak sumber daya komputasi. Menurut The Information, model Open AI menelan biaya Microsoft Azure $1,2 miliar, memusatkan sumber daya komputasi untuk mendukung OpenAI dan membatasi server yang tersedia untuk departemen Microsoft lainnya.
Dalam hal ini, Sam mengatakan bahwa pengurangan biaya adalah tujuan utama saat ini.
Selain itu, Sam juga mengungkapkan bahwa saat ini, layanan seperti membuka jendela konteks yang lebih panjang dan menyediakan API fine-tuning dibatasi oleh sumber daya GPU;
Dalam percakapan ini, Sam Altman menanggapi banyak kekhawatiran dari luar, seperti persaingan dan komersialisasi:
Meskipun hanya mempekerjakan manajer produk kelas dunia, Peter Deng, OpenAI tidak akan mempertimbangkan untuk merilis lebih banyak produk;
Tren aplikasi di masa mendatang adalah menyematkan fungsi model besar ke lebih banyak APP alih-alih menumbuhkan lebih banyak plug-in di ChatGPT, karena pada kenyataannya sebagian besar plug-in tidak menunjukkan PMF (Product / Market Fit, yaitu product-market fit );
Dalam beberapa tahun terakhir, OpenAI telah memperluas ukuran model jutaan kali, tetapi kecepatan ini tidak berkelanjutan. Selanjutnya, OpenAI akan terus meningkatkan ukuran model dengan kecepatan 1 hingga 3 kali lipat untuk meningkatkan kinerja model.
Risalah percakapan dipublikasikan pada 29 Mei, dan dihapus sekitar 3 Juni menurut catatan netizen. Inilah yang Anda dapatkan dengan cadangan:
01, OpenAI saat ini sangat dibatasi oleh GPU
Seiring skala percakapan, sumber daya komputasi yang dibutuhkan tumbuh secara eksponensial
OpenAI saat ini memiliki GPU yang sangat terbatas, yang telah menunda banyak rencana jangka pendek mereka. Keluhan terbesar dari pelanggan adalah keandalan dan kecepatan API. Sam mengakui kekhawatiran mereka, menjelaskan bahwa sebagian besar masalah disebabkan oleh kekurangan GPU.
Konteks 32k yang lebih panjang belum dapat diluncurkan ke lebih banyak orang. OpenAI belum mengatasi penskalaan perhatian O(n^2) dan meskipun tampaknya masuk akal mereka akan segera memiliki 100k - 1M jendela konteks token (tahun ini) sesuatu yang lebih besar akan memerlukan terobosan penelitian.
Konteks 32K yang lebih panjang tidak tersedia untuk lebih banyak orang. OpenAI belum mengatasi masalah penskalaan O(n^2) dari mekanisme perhatian, meskipun sepertinya mereka akan segera (tahun ini) memiliki jendela konteks Token 100k-1M. Setiap jendela yang lebih besar akan membutuhkan terobosan penelitian.
*Catatan: O (n^2) berarti semakin panjang urutan, sumber daya komputasi yang diperlukan untuk melakukan perhitungan Perhatian meningkat secara eksponensial. O digunakan untuk menggambarkan batas atas atau kasus terburuk dari laju pertumbuhan kompleksitas ruang atau waktu algoritma; (n^2) berarti bahwa kompleksitas sebanding dengan kuadrat dari ukuran input. *
API fine-tuning saat ini juga dibatasi oleh ketersediaan GPU. Mereka belum menggunakan metode fine-tuning yang efisien seperti Adapters atau LoRa, jadi menjalankan dan mengelola (model) melalui fine-tuning sangat intensif secara komputasi. Dukungan yang lebih baik untuk penyempurnaan akan diberikan di masa mendatang. Mereka bahkan mungkin menjadi tuan rumah pasar berbasis komunitas untuk kontribusi model.
Penyediaan kapasitas khusus dibatasi oleh ketersediaan GPU. OpenAI menawarkan kapasitas khusus, menyediakan salinan model pribadi kepada pelanggan. Untuk mendapatkan layanan tersebut, pelanggan harus bersedia membayar $100.000 di muka.
02, roadmap terbaru OpenAI
2023, pengurangan biaya yang cerdas; 2024, demonstrasi multimodalitas yang terbatas
Sam juga membagikan apa yang dilihatnya sebagai roadmap jangka pendek sementara untuk OpenAI API.
2023:
GPT-4 yang lebih murah dan lebih cepat — itulah prioritas utama mereka. Secara keseluruhan, tujuan OpenAI adalah untuk mengurangi "biaya kecerdasan" sebanyak mungkin, sehingga mereka akan bekerja keras untuk terus mengurangi biaya API dari waktu ke waktu.
Jendela konteks yang lebih panjang — dalam waktu dekat, jendela konteks mungkin mencapai 1 juta token.
Fine-tuning API — API fine-tuning akan diperluas ke model-model terbaru, tetapi bentuk persisnya akan tergantung pada apa yang pengembang katakan benar-benar mereka inginkan.
API stateful - Saat memanggil API obrolan hari ini, Anda harus melalui riwayat sesi yang sama berulang kali, membayar token yang sama berulang kali. Akan ada versi API mendatang yang mengingat riwayat sesi.
2024：
Multimodal - Ini didemonstrasikan sebagai bagian dari rilis GPT-4, tetapi tidak akan diskalakan ke semua orang hingga lebih banyak GPU yang online.
03. Prediksi dan pemikiran komersial: plugin "tanpa PMF" mungkin tidak akan segera muncul di API
Banyak pengembang tertarik untuk membuat plugin ChatGPT dapat diakses melalui API, tetapi Sam mengatakan dia tidak berpikir itu akan dirilis dalam waktu dekat. Selain plugin Brosing, penggunaan plugin lain menunjukkan tidak adanya PMF (Product/Market Fit). Dia menunjukkan bahwa banyak orang mengira mereka ingin aplikasi mereka ada di dalam ChatGPT, tetapi yang sebenarnya mereka inginkan adalah ChatGPT di dalam aplikasi.
04. Kecuali untuk ChatGPT, OpenAI akan menghindari persaingan dengan pelanggannya
Perusahaan hebat memiliki aplikasi pembunuh
Banyak pengembang mengatakan bahwa mereka gugup untuk mengembangkan dengan API OpenAI, karena OpenAI pada akhirnya dapat merilis produk yang bersaing dengan mereka. Sam mengatakan OpenAI tidak akan merilis lebih banyak produk di luar ChatGPT. Secara historis, perusahaan platform hebat memiliki aplikasi yang mematikan, katanya. ChatGPT akan memungkinkan pengembang menjadi pelanggan produk mereka sendiri untuk meningkatkan API. Visi ChatGPT adalah menjadi asisten kerja yang sangat cerdas, tetapi ada banyak kasus penggunaan GPT lain yang tidak melibatkan OpenAI.
05. Perlu regulasi, tapi tidak sekarang
"Saya skeptis tentang berapa banyak orang dan perusahaan yang mampu memegang model besar"
Sementara Sam menyerukan agar model masa depan diatur, menurutnya model yang ada tidak berbahaya dan mengatur atau melarangnya akan menjadi kesalahan besar. Dia menegaskan kembali pentingnya open source dan mengatakan bahwa OpenAI sedang mempertimbangkan membuat GPT-3 open source. Mereka belum open-source, sebagian karena dia skeptis tentang berapa banyak individu dan perusahaan yang mampu memegang dan melayani model bahasa besar (LLM).
06. Hukum skala masih berlaku
Kecepatan ekspansi jutaan kali dalam beberapa tahun tidak dapat berlanjut selamanya.
Ada banyak artikel akhir-akhir ini yang mengklaim bahwa "zaman model AI raksasa sudah berakhir". Ini tidak akurat. (Catatan: Pada sebuah acara di MIT pada bulan April, Sam Altman berkata: Kita sekarang mendekati akhir era model raksasa.)
Data internal OpenAI menunjukkan bahwa hukum penskalaan kinerja model masih berlaku, dan peningkatan ukuran model akan terus meningkatkan kinerja.
Karena OpenAI telah meningkatkan model jutaan kali hanya dalam beberapa tahun, tingkat penskalaan ini tidak dapat dipertahankan. Itu tidak berarti OpenAI tidak akan terus mencoba membuat model lebih besar, tetapi itu berarti bahwa ukurannya cenderung dua kali lipat atau tiga kali lipat setiap tahun, daripada dengan banyak urutan besarnya.
Fakta bahwa hukum skala berlaku memiliki implikasi penting untuk garis waktu pengembangan AGI. Asumsi dari hukum skala adalah bahwa kita mungkin sudah memiliki sebagian besar bahan yang diperlukan untuk membangun AGI, dan pekerjaan selanjutnya terutama untuk menskalakan metode yang ada ke model yang lebih besar dan kumpulan data yang lebih besar. Jika usia skala sudah berakhir, kita mungkin semakin jauh dari AGI. Fakta bahwa hukum ukuran terus berlaku sangat menyiratkan garis waktu yang lebih pendek.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Notulen bicara Sam Altman yang dihapus: Open AI juga tidak memiliki GPU, pengurangan biaya adalah tujuan utama
Penulis | Kabupaten Lingzi
Editor | Wei Shijie
Sumber丨Geek Park
Tur Eropa SamAltman masih berlangsung. Belum lama ini, di London, dia melakukan diskusi tertutup dengan CEO perusahaan AI HumanLooop. HumanLoop adalah perusahaan yang membantu pengembang membangun aplikasi pada model bahasa besar.
CEO HumanLoop Raza Habib merekam sorotan percakapan tersebut dan mempublikasikannya di situs web perusahaan. Tapi kemudian atas permintaan OpenAI, risalah itu ditarik. Hal ini pada gilirannya meningkatkan keingintahuan dunia luar tentang percakapan tersebut. Beberapa berspekulasi bahwa beberapa pemikiran OpenAI terlibat dalam perubahan ini.
Geek Park, setelah menelusuri menit-menit percakapan yang dihapus, menemukan bahwa itu tidak hanya melibatkan perencanaan jangka pendek OpenAI di mata Sam, tetapi juga menyembunyikan tekanan pada OpenAI setelah menerima dukungan kuat dari sumber daya komputasi awan Microsoft. Lagi pula, penyempurnaan model dan penalaran masih menghabiskan banyak sumber daya komputasi. Menurut The Information, model Open AI menelan biaya Microsoft Azure $1,2 miliar, memusatkan sumber daya komputasi untuk mendukung OpenAI dan membatasi server yang tersedia untuk departemen Microsoft lainnya.
Dalam hal ini, Sam mengatakan bahwa pengurangan biaya adalah tujuan utama saat ini.
Selain itu, Sam juga mengungkapkan bahwa saat ini, layanan seperti membuka jendela konteks yang lebih panjang dan menyediakan API fine-tuning dibatasi oleh sumber daya GPU;
Dalam percakapan ini, Sam Altman menanggapi banyak kekhawatiran dari luar, seperti persaingan dan komersialisasi:
Meskipun hanya mempekerjakan manajer produk kelas dunia, Peter Deng, OpenAI tidak akan mempertimbangkan untuk merilis lebih banyak produk;
Tren aplikasi di masa mendatang adalah menyematkan fungsi model besar ke lebih banyak APP alih-alih menumbuhkan lebih banyak plug-in di ChatGPT, karena pada kenyataannya sebagian besar plug-in tidak menunjukkan PMF (Product / Market Fit, yaitu product-market fit );
Dalam beberapa tahun terakhir, OpenAI telah memperluas ukuran model jutaan kali, tetapi kecepatan ini tidak berkelanjutan. Selanjutnya, OpenAI akan terus meningkatkan ukuran model dengan kecepatan 1 hingga 3 kali lipat untuk meningkatkan kinerja model.
Risalah percakapan dipublikasikan pada 29 Mei, dan dihapus sekitar 3 Juni menurut catatan netizen. Inilah yang Anda dapatkan dengan cadangan:
01, OpenAI saat ini sangat dibatasi oleh GPU
Seiring skala percakapan, sumber daya komputasi yang dibutuhkan tumbuh secara eksponensial
OpenAI saat ini memiliki GPU yang sangat terbatas, yang telah menunda banyak rencana jangka pendek mereka. Keluhan terbesar dari pelanggan adalah keandalan dan kecepatan API. Sam mengakui kekhawatiran mereka, menjelaskan bahwa sebagian besar masalah disebabkan oleh kekurangan GPU.
Konteks 32k yang lebih panjang belum dapat diluncurkan ke lebih banyak orang. OpenAI belum mengatasi penskalaan perhatian O(n^2) dan meskipun tampaknya masuk akal mereka akan segera memiliki 100k - 1M jendela konteks token (tahun ini) sesuatu yang lebih besar akan memerlukan terobosan penelitian.
Konteks 32K yang lebih panjang tidak tersedia untuk lebih banyak orang. OpenAI belum mengatasi masalah penskalaan O(n^2) dari mekanisme perhatian, meskipun sepertinya mereka akan segera (tahun ini) memiliki jendela konteks Token 100k-1M. Setiap jendela yang lebih besar akan membutuhkan terobosan penelitian.
*Catatan: O (n^2) berarti semakin panjang urutan, sumber daya komputasi yang diperlukan untuk melakukan perhitungan Perhatian meningkat secara eksponensial. O digunakan untuk menggambarkan batas atas atau kasus terburuk dari laju pertumbuhan kompleksitas ruang atau waktu algoritma; (n^2) berarti bahwa kompleksitas sebanding dengan kuadrat dari ukuran input. *
API fine-tuning saat ini juga dibatasi oleh ketersediaan GPU. Mereka belum menggunakan metode fine-tuning yang efisien seperti Adapters atau LoRa, jadi menjalankan dan mengelola (model) melalui fine-tuning sangat intensif secara komputasi. Dukungan yang lebih baik untuk penyempurnaan akan diberikan di masa mendatang. Mereka bahkan mungkin menjadi tuan rumah pasar berbasis komunitas untuk kontribusi model.
Penyediaan kapasitas khusus dibatasi oleh ketersediaan GPU. OpenAI menawarkan kapasitas khusus, menyediakan salinan model pribadi kepada pelanggan. Untuk mendapatkan layanan tersebut, pelanggan harus bersedia membayar $100.000 di muka.
02, roadmap terbaru OpenAI
2023, pengurangan biaya yang cerdas; 2024, demonstrasi multimodalitas yang terbatas
Sam juga membagikan apa yang dilihatnya sebagai roadmap jangka pendek sementara untuk OpenAI API.
2023:
GPT-4 yang lebih murah dan lebih cepat — itulah prioritas utama mereka. Secara keseluruhan, tujuan OpenAI adalah untuk mengurangi "biaya kecerdasan" sebanyak mungkin, sehingga mereka akan bekerja keras untuk terus mengurangi biaya API dari waktu ke waktu.
Jendela konteks yang lebih panjang — dalam waktu dekat, jendela konteks mungkin mencapai 1 juta token.
Fine-tuning API — API fine-tuning akan diperluas ke model-model terbaru, tetapi bentuk persisnya akan tergantung pada apa yang pengembang katakan benar-benar mereka inginkan.
API stateful - Saat memanggil API obrolan hari ini, Anda harus melalui riwayat sesi yang sama berulang kali, membayar token yang sama berulang kali. Akan ada versi API mendatang yang mengingat riwayat sesi.
2024：
Multimodal - Ini didemonstrasikan sebagai bagian dari rilis GPT-4, tetapi tidak akan diskalakan ke semua orang hingga lebih banyak GPU yang online.
03. Prediksi dan pemikiran komersial: plugin "tanpa PMF" mungkin tidak akan segera muncul di API
Banyak pengembang tertarik untuk membuat plugin ChatGPT dapat diakses melalui API, tetapi Sam mengatakan dia tidak berpikir itu akan dirilis dalam waktu dekat. Selain plugin Brosing, penggunaan plugin lain menunjukkan tidak adanya PMF (Product/Market Fit). Dia menunjukkan bahwa banyak orang mengira mereka ingin aplikasi mereka ada di dalam ChatGPT, tetapi yang sebenarnya mereka inginkan adalah ChatGPT di dalam aplikasi.
04. Kecuali untuk ChatGPT, OpenAI akan menghindari persaingan dengan pelanggannya
Perusahaan hebat memiliki aplikasi pembunuh
Banyak pengembang mengatakan bahwa mereka gugup untuk mengembangkan dengan API OpenAI, karena OpenAI pada akhirnya dapat merilis produk yang bersaing dengan mereka. Sam mengatakan OpenAI tidak akan merilis lebih banyak produk di luar ChatGPT. Secara historis, perusahaan platform hebat memiliki aplikasi yang mematikan, katanya. ChatGPT akan memungkinkan pengembang menjadi pelanggan produk mereka sendiri untuk meningkatkan API. Visi ChatGPT adalah menjadi asisten kerja yang sangat cerdas, tetapi ada banyak kasus penggunaan GPT lain yang tidak melibatkan OpenAI.
05. Perlu regulasi, tapi tidak sekarang
"Saya skeptis tentang berapa banyak orang dan perusahaan yang mampu memegang model besar"
Sementara Sam menyerukan agar model masa depan diatur, menurutnya model yang ada tidak berbahaya dan mengatur atau melarangnya akan menjadi kesalahan besar. Dia menegaskan kembali pentingnya open source dan mengatakan bahwa OpenAI sedang mempertimbangkan membuat GPT-3 open source. Mereka belum open-source, sebagian karena dia skeptis tentang berapa banyak individu dan perusahaan yang mampu memegang dan melayani model bahasa besar (LLM).
06. Hukum skala masih berlaku
Kecepatan ekspansi jutaan kali dalam beberapa tahun tidak dapat berlanjut selamanya.
Ada banyak artikel akhir-akhir ini yang mengklaim bahwa "zaman model AI raksasa sudah berakhir". Ini tidak akurat. (Catatan: Pada sebuah acara di MIT pada bulan April, Sam Altman berkata: Kita sekarang mendekati akhir era model raksasa.)
Data internal OpenAI menunjukkan bahwa hukum penskalaan kinerja model masih berlaku, dan peningkatan ukuran model akan terus meningkatkan kinerja.
Karena OpenAI telah meningkatkan model jutaan kali hanya dalam beberapa tahun, tingkat penskalaan ini tidak dapat dipertahankan. Itu tidak berarti OpenAI tidak akan terus mencoba membuat model lebih besar, tetapi itu berarti bahwa ukurannya cenderung dua kali lipat atau tiga kali lipat setiap tahun, daripada dengan banyak urutan besarnya.
Fakta bahwa hukum skala berlaku memiliki implikasi penting untuk garis waktu pengembangan AGI. Asumsi dari hukum skala adalah bahwa kita mungkin sudah memiliki sebagian besar bahan yang diperlukan untuk membangun AGI, dan pekerjaan selanjutnya terutama untuk menskalakan metode yang ada ke model yang lebih besar dan kumpulan data yang lebih besar. Jika usia skala sudah berakhir, kita mungkin semakin jauh dari AGI. Fakta bahwa hukum ukuran terus berlaku sangat menyiratkan garis waktu yang lebih pendek.