Pendiri OpenAI dan kepala ilmuwan jarang berada di panggung yang sama: hal paling menarik dalam AI sedang terjadi!

Pengarang: Zhu Xueying

Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas

Saat aktivitas bulanan ChatGPT melonjak hingga mencapai 1 miliar, "tur global" pendiri OpenAI Sam Altman juga menarik perhatian.

Minggu ini, SamAltman datang ke Universitas Tel Aviv di Israel dan melakukan wawancara yang jelas dan mendalam dengan Ilya Sutskavel, kepala ilmuwan OpenAI yang besar di Israel (keduanya jarang berbagi tahap yang sama). untuk kata-kata ketika ditanya, dan itu layak untuk didengarkan.

Pandangan inti: **1. Keunggulan OpenAI: **Kami lebih fokus pada apa yang kami lakukan, dan budaya kami berfokus pada inovasi yang ketat dan dapat diulang. 2. Posisi akademisi di AI: Akademisi dulunya berada di garis depan penelitian AI, tetapi hal ini telah berubah karena daya komputasi yang lebih lemah dan kurangnya budaya teknik. Tetapi akademisi masih dapat memberikan kontribusi penting untuk AI, memecahkan banyak misteri jaringan saraf yang kami latih. **3. Sumber terbuka atau bukan sumber terbuka: **Kami telah membuka beberapa model dengan sumber terbuka dan berencana untuk membuka sumber lebih banyak model, tetapi menurut kami ini bukan strategi yang tepat untuk membuka sumber semua model, dan kami sedang bekerja keras untuk menemukan keseimbangan. **4. Risiko yang tidak dapat diabaikan dalam AI: ** Pekerjaan terpengaruh, peretas memperoleh kecerdasan super, dan sistem kehilangan kendali adalah tiga risiko AI yang mengkhawatirkan. AI dapat melakukan hal-hal luar biasa, tetapi juga dapat melakukan hal-hal buruk, jadi kami memiliki struktur peraturan yang sesuai untuk mengontrol penggunaan teknologi ini, seperti mendirikan institusi global. **5. Akankah AI mempercepat penemuan ilmiah: **AI dapat membantu manusia mencapai beberapa tujuan ilmiah yang saat ini tidak dapat dicapai, seperti mempromosikan pengembangan medis dan kesehatan, memitigasi masalah perubahan iklim, dan bahkan menjelajahi misteri alam semesta. yang paling disenangi orang.

Seluruh wawancara tidak kurang mendalam, tetapi juga menarik.

Misalnya, Ilya dengan gembira mengatakan bahwa orang tuanya memberi tahu dia bahwa teman-temannya juga menggunakan ChatGPT setiap hari, yang sangat mengejutkannya. Dan ketika penonton bertanya "Kamu membuat sejarah, bagaimana kamu ingin sejarah mengingatmu?", Ilya pun menjawab dengan jenaka: ** "Maksudku, dengan cara terbaik."**

Berikut adalah teks lengkap dari wawancara tersebut:

Ph.D. dan putus sekolah: dua kehidupan berbeda sebelum OpenAI

Ilya：

Dari usia 5 hingga 16 tahun, saya tinggal di Yerusalem. Antara tahun 2000 dan 2002 saya belajar di Universitas Terbuka. Saya kemudian pindah ke Universitas Toronto, di mana saya menghabiskan 10 tahun dan memperoleh gelar BA, MA, dan PhD. Selama studi pascasarjana saya, saya memiliki hak istimewa untuk berkontribusi pada kemajuan penting dalam pembelajaran mendalam. Kemudian saya ikut mendirikan perusahaan dengan beberapa orang yang diakuisisi oleh Google, tempat saya bekerja untuk sementara waktu.

Kemudian, suatu hari saya mendapat email dari Sam yang berkata, "Hei, ayo kita bergaul dengan beberapa orang keren." Saya tertarik, jadi saya melakukannya. Itu adalah pertama kalinya saya bertemu Elon Musk dan Greg Brockman, dan kami memutuskan untuk memulai perjalanan OpenAI. Kami telah melakukan ini selama bertahun-tahun, jadi di sinilah kami saat ini.

Diri:

Sebagai seorang anak, saya sangat senang dengan AI dan kutu buku fiksi ilmiah. Tidak pernah terpikir oleh saya untuk memiliki kesempatan untuk mempelajarinya, tetapi kemudian di perguruan tinggi, saya mulai mengerjakannya untuk sementara waktu. Tapi kemudian itu tidak benar-benar lepas landas, seperti tahun 2004... Saya putus sekolah dan memulai.

Setelah beberapa saat setelah kemajuan yang disebutkan Ilya, saya menjadi sangat bersemangat tentang apa yang terjadi dengan AI dan mengiriminya email, dan kami masih melanjutkan.

Keunggulan OpenAI

tuan rumah:

Apa yang Anda lihat sebagai kekuatan utama OpenAI, terutama karena pesaing seringkali lebih besar dan memiliki lebih banyak sumber daya, menjadikannya pemimpin dalam AI generatif?

Diri:

Kami percaya keuntungan utama adalah peningkatan fokus kami pada apa yang kami lakukan. Penting dan disalahpahami bahwa kami memiliki kepadatan bakat yang lebih tinggi daripada perusahaan besar. ** Budaya kami menghargai ketelitian dan inovasi yang dapat diulang, dan sulit dan jarang untuk memiliki kedua budaya ini hidup berdampingan. **

Ilya：

Ya, saya hanya bisa menambahkan sedikit jawaban Sam. **Ini adalah permainan iman, lebih banyak iman berarti lebih banyak kemajuan. ** Anda akan membuat kemajuan terbesar jika Anda memiliki banyak keyakinan. Ini mungkin terdengar seperti lelucon, tetapi sebenarnya itu benar. Anda harus percaya pada gagasan itu dan mendorongnya dengan keras, itulah yang mendorong kemajuan.

Posisi akademisi di bidang AI

tuan rumah:

Kemajuan terbaru dalam kecerdasan buatan sebagian besar didorong oleh industri, menurut Anda peran apa yang harus dimainkan oleh penelitian akademik dalam pengembangan bidang ini?

Ilya：

Peran akademisi di bidang AI telah berubah secara signifikan. Akademisi dulunya berada di garis depan penelitian AI, tetapi itu telah berubah. Ada dua alasan: daya komputasi dan budaya teknik. Akademisi memiliki daya komputasi yang lebih sedikit dan seringkali tidak memiliki budaya teknik.

Namun, akademisi masih dapat memberikan kontribusi yang signifikan dan penting untuk AI. ** Akademisi dapat mengungkap banyak misteri dari jaringan saraf yang kami latih dan kami membuat objek yang kompleks dan menakjubkan. **

Apa itu pembelajaran mendalam? Ini adalah proses alkimia di mana kami menggunakan data sebagai bahan mentah, digabungkan dengan energi komputasi, untuk mendapatkan kecerdasan ini. Tapi apa sebenarnya itu? Bagaimana cara kerjanya? Properti apa yang dimilikinya? Bagaimana kita mengendalikannya? Bagaimana cara memahaminya? Bagaimana cara menerapkannya? Bagaimana cara mengukurnya? Semua pertanyaan ini tidak diketahui.

**Bahkan pada tugas pengukuran sederhana, kami tidak dapat menilai kinerja AI kami secara akurat. Ini bukan masalah di masa lalu karena AI tidak terlalu penting. Kecerdasan buatan sangat penting sekarang, tetapi kami menyadari bahwa kami masih belum dapat mengukurnya sepenuhnya. **

Jadi, saya mulai memikirkan beberapa masalah yang tidak dapat diselesaikan oleh siapa pun. Anda tidak memerlukan cluster komputasi besar, atau tim teknik besar, untuk mengajukan pertanyaan ini dan membuat kemajuan. Jika Anda berhasil menerobos, itu akan menjadi kontribusi yang menarik dan bermakna yang akan segera diperhatikan semua orang.

tuan rumah:

Kami ingin melihat kemajuan yang sepenuhnya seimbang antara industri dan akademisi, dan kami ingin melihat lebih banyak jenis kontribusi ini. Apakah menurut Anda ada yang bisa dilakukan untuk memperbaiki situasi, terutama dari posisi Anda, apakah ada semacam dukungan yang tersedia?

Ilya：

Pertama-tama, menurut saya perubahan pola pikir adalah hal pertama dan terpenting. Saya sedikit keluar dari akademisi akhir-akhir ini, tapi saya pikir ada beberapa krisis dalam apa yang kami lakukan.

Ada terlalu banyak momentum di sekitar sejumlah besar makalah, tetapi penting untuk berfokus pada pemecahan masalah yang paling kritis. Kita perlu mengubah pola pikir kita dan fokus pada masalah yang paling penting. **Kita tidak bisa hanya fokus pada apa yang sudah kita ketahui, tetapi menyadari apa yang salah. **Setelah kami memahami masalahnya, kami dapat bergerak untuk menyelesaikannya.

Selain itu, kami dapat membantu. Misalnya, kami memiliki Program Akses Akademik di mana akademisi dapat mendaftar untuk mendapatkan kapasitas komputasi dan akses ke model canggih kami. Banyak universitas telah menulis makalah menggunakan GPT-3, mempelajari properti dan bias model. Jika Anda memiliki lebih banyak ide, saya ingin mendengarnya.

open source ATAU bukan open source

tuan rumah:

Sementara beberapa pemain benar-benar mempromosikan rilis open source dari model dan kode mereka, yang lain tidak melakukannya dengan cukup. Ini juga tentang AI terbuka. Jadi saya bertanya-tanya, pertama-tama, apa pendapat Anda tentang ini? Jika Anda setuju, menurut Anda mengapa OpenAI adalah strategi yang tepat?

Diri:

**Kami telah membuat beberapa model open-source dan berencana untuk membuka-sumber lebih banyak dari waktu ke waktu. Tapi menurut saya open source semuanya bukan strategi yang tepat. **Jika model hari ini menarik, mungkin berguna untuk sesuatu, tetapi masih relatif primitif dibandingkan dengan apa yang akan kita buat. Saya pikir kebanyakan orang akan setuju dengan itu. Jika kita tahu bagaimana membuat AGI super kuat yang memiliki banyak kelebihan tapi juga kekurangan, open source mungkin bukan pilihan terbaik.

** Jadi kami mencoba menemukan keseimbangan. **Kami akan membuka sumber beberapa hal, dan saat pemahaman kami tentang model meningkat, kami akan dapat membuka sumber lebih banyak dari waktu ke waktu. Kami telah merilis banyak hal, dan saya pikir banyak ide kunci yang orang lain sedang membangun model bahasa saat ini berasal dari rilis OpenAI, seperti makalah GPT awal dan undang-undang penskalaan dari karya rohf. Tapi itu adalah keseimbangan yang harus kita pikirkan saat kita melangkah maju. Kami menghadapi banyak penyebab stres yang berbeda dan perlu mengelolanya dengan sukses.

tuan rumah:

Jadi, apakah Anda mempertimbangkan untuk membuat model tersedia untuk audiens tertentu, daripada membuka sumbernya untuk dunia? Apa yang Anda pikirkan sebagai ilmuwan, atau saat kami menyelesaikan pelatihan GPT-4?

Diri:

Kami membutuhkan waktu hampir delapan bulan untuk memahaminya, mengamankannya, dan mencari cara untuk menyesuaikannya. Kami memiliki auditor eksternal, tim merah, dan komunitas ilmiah yang terlibat. Jadi kami mengambil langkah-langkah ini dan akan terus melakukannya.

Risiko yang tidak dapat diabaikan oleh AI

tuan rumah:

Menurut saya risiko adalah masalah yang sangat penting dan mungkin setidaknya ada tiga kategori risiko.

Yang pertama adalah dislokasi ekonomi, di mana pekerjaan menjadi mubazir. Kategori kedua mungkin situasi di mana senjata ampuh berada di tangan segelintir orang. Misalnya, jika peretas dapat menggunakan alat ini, mereka dapat melakukan hal-hal yang membutuhkan ribuan peretas sebelumnya. Kategori terakhir mungkin yang paling mengkhawatirkan, di mana sistem tidak terkendali dan bahkan pemicunya tidak dapat mencegah perilakunya. Saya ingin mengetahui pendapat Anda tentang kemungkinan masing-masing skenario ini.

Ilya：

Oke, mari kita mulai dengan kemungkinan skenario kekacauan ekonomi. Seperti yang Anda sebutkan, ada tiga risiko di **: pekerjaan disusupi, peretas memperoleh kecerdasan super, dan sistem lepas kendali. **Kekacauan ekonomi memang situasi yang sudah kita kenal, karena beberapa pekerjaan sudah terpengaruh atau berisiko.

Dengan kata lain, tugas-tugas tertentu dapat diotomatisasi. Misalnya, jika Anda seorang programmer, Copilot dapat menulis fungsi untuk Anda. Meski berbeda dengan seniman, karena banyak kegiatan ekonomi seniman yang tergantikan oleh beberapa penghasil citra.

Saya tidak berpikir ini benar-benar pertanyaan sederhana. **Meskipun lapangan kerja baru tercipta, ketidakpastian ekonomi akan bertahan lama. Saya tidak yakin apakah ini masalahnya. **

Bagaimanapun, bagaimanapun, kita membutuhkan sesuatu untuk memuluskan transisi ke karir baru yang gencar, bahkan jika karir itu belum ada. Hal ini memerlukan perhatian pemerintah dan sistem sosial.

Sekarang mari kita bicara tentang peretasan. Ya, ini pertanyaan yang sulit. AI sangat kuat, dan orang jahat dapat menggunakannya dengan cara yang ampuh. Kita perlu menerapkan kerangka kerja yang mirip dengan alat lain yang sangat kuat dan berbahaya.

Perhatikan bahwa kita tidak berbicara tentang kecerdasan buatan hari ini, tetapi kemampuan yang meningkat dari waktu ke waktu. Saat ini kami berada di titik rendah, tetapi ketika kami sampai di sana, itu akan menjadi sangat kuat. **Teknologi ini dapat digunakan dalam aplikasi yang luar biasa, dapat digunakan untuk menyembuhkan penyakit, tetapi juga dapat membuat penyakit lebih buruk dari apa pun yang pernah ada sebelumnya.

Oleh karena itu, kita membutuhkan struktur untuk mengontrol penggunaan teknologi ini. Sam, misalnya, telah menyerahkan dokumen kepada mereka yang mengusulkan kerangka kerja mirip IAEA untuk mengendalikan kecerdasan buatan yang sangat kuat. **

tuan rumah:

Pertanyaan terakhir adalah tentang kecerdasan buatan super cerdas yang lepas kendali, bisa dikatakan akan menjadi masalah besar, apakah salah membangun kecerdasan buatan super cerdas yang kita tidak tahu cara mengontrolnya.

Diri:

Saya dapat menambahkan beberapa poin. Tentu saja, saya sangat setuju dengan kalimat terakhir.

Di bidang ekonomi, saya merasa sulit untuk memprediksi perkembangan masa depan. Saya pikir itu karena ada begitu banyak kelebihan permintaan di dunia saat ini, dan sistem ini sangat bagus dalam membantu menyelesaikan banyak hal. Namun dalam banyak kasus saat ini, tidak semua tugas dapat dilakukan oleh mereka.

**Saya pikir dalam jangka pendek semuanya terlihat bagus dan kita akan melihat peningkatan produktivitas yang signifikan. **Jika kita dapat membuat pemrogram dua kali lebih produktif, jumlah kode yang dibutuhkan di dunia akan lebih dari tiga kali lipat, sehingga semuanya terlihat baik-baik saja.

Dalam jangka panjang, menurut saya sistem ini akan menangani tugas dan kategori pekerjaan yang semakin kompleks. Beberapa dari pekerjaan ini mungkin hilang,** tetapi yang lain akan menjadi seperti pekerjaan yang benar-benar membutuhkan manusia dan hubungan manusia. ** Orang sangat ingin manusia memainkan peran ini.

Peran-peran ini mungkin tidak jelas. Misalnya, ketika Deep Blue mengalahkan Garry Kasparov, dunia menyaksikan kecerdasan buatan untuk pertama kalinya. Saat itu semua orang mengatakan catur sudah berakhir dan tidak ada yang mau bermain catur lagi karena itu tidak masuk akal.

Namun, kami memiliki konsensus bahwa catur tidak pernah sepopuler ini. Manusia lebih kuat, hanya saja harapannya dinaikkan. Kita dapat menggunakan alat ini untuk meningkatkan keterampilan kita sendiri, tetapi orang-orang masih sangat menikmati bermain catur, dan orang-orang tampaknya masih peduli dengan orang lain.

Anda menyebutkan bahwa Dolly dapat menciptakan karya seni yang hebat, tetapi orang-orang masih peduli dengan orang-orang di balik karya seni yang ingin mereka beli, dan menurut kami para pencipta itu istimewa dan berharga.

Ambil catur sebagai contoh, karena orang lebih memperhatikan catur manusia, lebih banyak orang menonton catur manusia daripada sebelumnya. Namun, hanya sedikit orang yang ingin menonton pertandingan antara dua AI. Jadi saya pikir mereka akan menjadi semua faktor yang tidak dapat diprediksi ini. **Saya pikir manusia mendambakan perbedaan (antara manusia dan mesin). **

Kebutuhan untuk menciptakan sesuatu yang baru untuk mendapatkan status akan selalu ada, tetapi itu akan terwujud dengan cara yang sangat berbeda. Saya bertaruh bahwa pekerjaan 100 tahun dari sekarang akan sangat berbeda dari pekerjaan saat ini, dan banyak dari hal itu akan sangat mirip. Tapi saya sangat setuju dengan apa yang dikatakan Ilya, **Apapun yang terjadi, kita membutuhkan kontrak sosial ekonomi yang berbeda, karena otomatisasi telah mencapai ketinggian yang tak terbayangkan sampai sekarang. **

tuan rumah:

Sam, Anda baru-baru ini menandatangani petisi yang menyerukan agar ancaman eksistensial kecerdasan buatan ditanggapi dengan serius. Mungkin perusahaan seperti OpenAI harus mengambil langkah untuk mengatasi masalah ini.

Diri:

Saya benar-benar ingin menekankan bahwa kita tidak berbicara tentang sistem saat ini di sini, atau model pelatihan startup kecil, atau komunitas open source.

Saya pikir akan menjadi kesalahan untuk memaksakan peraturan yang berat di lapangan saat ini, atau mencoba memperlambat inovasi yang luar biasa. Benar-benar tidak ingin menciptakan kecerdasan super yang tidak konsisten yang tampaknya tidak dapat disangkal. **Saya pikir dunia harus melihat ini bukan sebagai risiko sci-fi yang tidak akan pernah datang, tetapi sebagai sesuatu yang mungkin harus kita tangani dalam dekade berikutnya, perlu waktu untuk membiasakan diri dengan beberapa hal, tetapi menang' jangan lama-lama. **

Jadi kami mendapatkan ide dan semoga ide yang lebih baik. Jika kita dapat membangun organisasi global, dengan tingkat daya komputasi dan batas teknologi tertinggi, kerangka kerja dapat dikembangkan untuk melisensikan model dan mengaudit keamanannya guna memastikan bahwa model tersebut lulus pengujian yang diperlukan. Ini akan membantu kami untuk melihat masalah ini sebagai risiko yang sangat serius. Kami melakukan sesuatu yang mirip dengan energi nuklir.

Di masa mendatang, apakah AI akan mempercepat penemuan ilmiah? Menyembuhkan penyakit, memecahkan masalah iklim?

tuan rumah:

Mari kita bicara tentang keuntungan. Dalam lingkungan ilmiah tempat kita berada, saya bertanya-tanya tentang peran kecerdasan buatan. Dalam beberapa tahun, mungkin di masa depan, kita akan menemukan sesuatu yang ilmiah.

Diri:

**Ini adalah hal yang secara pribadi paling membuat saya bersemangat tentang AI. **Saya pikir ada banyak hal menarik yang terjadi, manfaat ekonomi yang besar, manfaat perawatan kesehatan yang besar. Namun nyatanya, kecerdasan buatan dapat membantu kita membuat beberapa penemuan ilmiah yang saat ini mustahil. Kami ingin belajar tentang misteri alam semesta dan bahkan lebih banyak lagi. Saya benar-benar percaya bahwa kemajuan ilmu pengetahuan dan teknologi adalah satu-satunya cara berkelanjutan untuk menjadikan hidup lebih baik dan dunia menjadi tempat yang lebih baik.

Jika kita dapat mengembangkan banyak kemajuan ilmu pengetahuan dan teknologi baru, saya pikir kita sudah melihat permulaan manusia. Gunakan alat ini untuk meningkatkan efisiensi. Tapi jika Anda membayangkan sebuah dunia di mana Anda bisa berkata, "Hei, saya bisa membantu menyembuhkan semua penyakit," dan itu bisa membantu Anda menyembuhkan semua penyakit, dunia itu mungkin tempat yang lebih baik. Saya tidak berpikir kita yang jauh dari itu.

tuan rumah:

Selain penyakit, masalah besar lainnya adalah perubahan iklim, yang sangat sulit dipecahkan. Tapi menurut saya tidak akan terlalu sulit untuk menghadapi perubahan iklim setelah kita memiliki sistem superintelijen yang sangat kuat.

Ilya：

Ya, Anda membutuhkan banyak penangkapan karbon. Anda memerlukan energi untuk menangkap karbon, dan Anda memerlukan teknologi untuk membangunnya. Jika Anda dapat mempercepat sains, Anda perlu banyak membangun. Kemajuan adalah apa yang dapat dilakukan oleh kecerdasan buatan yang kuat, dan kita dapat mencapai penangkapan karbon yang sangat canggih dengan lebih cepat. Itu bisa mendapatkan listrik yang sangat murah lebih cepat, kita bisa mendapatkan manufaktur yang lebih murah lebih cepat. Sekarang gabungkan ketiga listrik murah, manufaktur murah, dan penangkapan karbon canggih, dan sekarang Anda membangun banyak dari mereka, dan sekarang Anda menyedot semua kelebihan CO2 ini dari atmosfer.

**Jika Anda memiliki kecerdasan buatan yang kuat, itu akan sangat mempercepat kemajuan sains dan teknik. ** Ini akan membuat perencanaan lebih mudah hari ini. Saya percaya ini akan memfasilitasi percepatan kemajuan. Ini menunjukkan bahwa kita harus bermimpi lebih besar. Anda dapat membayangkan bahwa jika Anda dapat merancang sebuah sistem, Anda dapat memintanya untuk memberi tahu Anda cara membuat energi bersih dalam jumlah besar dengan biaya rendah, cara menangkap karbon secara efisien, dan memandu Anda dalam membangun pabrik yang akan melakukan hal-hal tersebut. . Jika Anda dapat mencapai ini, maka Anda juga dapat mencapainya di banyak bidang lainnya.

ChatGPT yang luar biasa

tuan rumah:

Mendengar bahwa Anda tidak mengira ChatGPT akan tersebar luas, saya bertanya-tanya apakah ada contoh orang lain yang benar-benar terkejut dengan nilai dan kemampuannya.

Ilya：

Saya sangat terkejut dan senang ketika orang tua saya memberi tahu saya bagaimana teman-teman mereka menggunakan ChatGPT dalam kehidupan sehari-hari. Sulit untuk memilih satu dari sekian banyak cerita menawan yang menunjukkan kecemerlangan kreativitas manusia dan bagaimana orang memanfaatkan alat yang ampuh ini.

Sangat bagus bagi kami di bidang pendidikan dan melihat begitu banyak orang menulis kata-kata yang mengubah hidup mereka seperti ini benar-benar transformatif bagi saya karena sekarang saya bisa belajar apa saja, saya belajar hal-hal spesifik, atau mengatakan hal-hal yang saya tidak tahu caranya. lakukan sebelumnya, saya lakukan sekarang.

Secara pribadi, melihat orang belajar dengan cara yang baru dan lebih baik dan membayangkan akan seperti apa beberapa tahun ke depan sangatlah memuaskan dan indah. Pada tingkat ini, kami tidak sepenuhnya berharap ini terjadi, yang sungguh menakjubkan.

Lalu ada cerita menarik, yang baru saya dengar kemarin. Dikatakan bahwa seorang pria biasa menghabiskan dua jam setiap malam menulis cerita pengantar tidur dengan anak-anaknya. Kisah-kisah ini semua adalah hal favorit anak-anak, dan itu menjadi momen spesial. Mereka bersenang-senang setiap malam.

Pertanyaan dari penonton:

Pertanyaan 1: Bisakah LLM sumber terbuka cocok dengan kemampuan GPT-4 tanpa teknik lanjutan tambahan? Atau adakah rahasia kelam di GPT-4 yang membedakannya dari model lain. Saya memasang model vicuna Stabilitas, 13 miliar parameter... Apakah saya membuang-buang waktu?

Sam: Kehilangan kata-kata...

Ilya：

Mengenai pertanyaan tentang model open source dan non-open source, kita tidak harus berpikir dalam istilah biner hitam putih. Sepertinya ada sumber rahasia yang tidak akan pernah bisa Anda temukan kembali.

**Mungkin suatu hari nanti akan ada model open source yang mereplikasi kemampuan GPT-4, tetapi proses ini akan memakan waktu, dan pada saat itu, model seperti itu dapat menjadi model yang lebih kuat di dalam perusahaan besar. **Oleh karena itu, akan selalu ada kesenjangan antara model open source dan model privat, dan kesenjangan ini dapat meningkat secara bertahap. Jumlah pekerjaan, teknik, dan penelitian yang diperlukan untuk membuat jaringan saraf semacam itu akan terus meningkat.

Jadi, **bahkan jika model open source ada, mereka akan dibuat semakin sedikit oleh sekelompok kecil peneliti dan insinyur yang berdedikasi, itu hanya akan menjadi satu perusahaan, satu perusahaan besar (berkontribusi pada open source). **

Pertanyaan 2: Jika Anda benar-benar percaya bahwa AI berbahaya bagi manusia, mengapa terus mengembangkannya? Jika peraturan diberlakukan pada OpenAI dan perusahaan AI lainnya, apakah Anda akan mematuhinya? Zuckerberg mengatakan dia berusaha menghindari setiap peraturan yang dia temukan.

Diri:

Saya pikir ini adalah pertanyaan yang sangat adil dan penting. Bagian tersulit dari pekerjaan kami adalah menyeimbangkan potensi besar yang ditawarkan oleh kecerdasan buatan dengan risiko serius yang terkait dengannya. Kita perlu meluangkan waktu untuk membahas mengapa kita menghadapi risiko ini dan mengapa risiko itu ada.

Saya pikir segalanya terlihat lebih baik ketika kita melihat kembali standar hidup saat ini dan toleransi kita yang meningkat terhadap manusia. Dibandingkan dengan 500 atau 1000 tahun yang lalu, kondisi kehidupan masyarakat telah meningkat pesat. Kami bertanya pada diri sendiri, dapatkah Anda membayangkan orang hidup dalam kemiskinan ekstrem? Bisakah Anda bayangkan orang yang menderita penyakit? Bisakah Anda bayangkan situasi di mana semua orang tidak berpendidikan? Ini adalah realitas zaman barbar.

**Meskipun AI menimbulkan beberapa risiko, kami juga melihat potensinya untuk meningkatkan kehidupan kita, memajukan penelitian ilmiah, dan memecahkan masalah global. **

Kita perlu terus mengembangkan AI dengan cara yang bertanggung jawab, dengan langkah-langkah pengaturan untuk memastikan masalah keselamatan dan etika ditangani dengan benar. Tujuan kami adalah menjadikan kecerdasan buatan sebagai alat kemajuan manusia, bukan ancaman. Ini membutuhkan upaya bersama kita, termasuk partisipasi komunitas teknis, pemerintah, dan semua pihak dalam masyarakat, untuk membangun kerangka kerja yang berkelanjutan dan etis untuk pengembangan kecerdasan buatan.

Bagaimana caranya, saya juga berpikir itu seperti kemajuan yang tak terbendung. Teknologi tidak tinggal diam, terus berkembang. Jadi, sebagai perusahaan besar, kita harus memikirkan cara mengelola risiko yang menyertainya.

Sebagian alasannya adalah karena risikonya, dan pendekatan yang diperlukan untuk mengatasinya, luar biasa. Kami harus membuat kerangka kerja yang berbeda dari struktur tradisional. Kami memiliki batas keuntungan dan saya yakin insentif adalah faktor penting. Jika Anda merancang insentif yang tepat, seringkali hal itu dapat mengarah pada perilaku yang Anda inginkan.

Jadi kami mencoba untuk memastikan bahwa semuanya bekerja dengan baik dan tidak menghasilkan keuntungan lebih atau kurang. Kami tidak memiliki struktur insentif seperti perusahaan seperti Facebook, yang menurut saya brilian, orang-orang di Facebook berada dalam struktur insentif, tetapi struktur itu memiliki beberapa tantangan.

Kami mencoba mengumpulkan pengalaman melalui AGI. Seperti yang sering disinggung Ilya, awalnya kami mencoba merasakan AGI saat memulai perusahaan dan kemudian membangun struktur laba. Oleh karena itu, kita perlu mencapai keseimbangan antara kebutuhan sumber daya komputasi dan fokus pada misi. Salah satu topik yang kami diskusikan adalah struktur seperti apa yang memungkinkan kami merangkul regulasi dengan antusias, bahkan saat itu paling menyakitkan bagi kami.

Sekaranglah waktunya,** kita mendorong regulasi secara global yang akan berdampak terbesar bagi kita. **Tentu saja kami mengikuti aturan, saya pikir ketika orang berisiko lebih mudah bagi mereka untuk berperilaku baik, lebih mudah bagi mereka untuk mencari tujuan. Jadi menurut saya pemilik bisnis terkemuka ini merasakannya sekarang, dan Anda akan melihat reaksi mereka berbeda dari perusahaan media sosial. Saya pikir semua keraguan dan kekhawatiran dibenarkan. Kami berjuang dengan masalah ini setiap hari, dan tidak ada jawaban yang mudah untuk itu.

Pertanyaan 3: Saya ingin memahami apa kesenjangan antara model AI yang Anda gunakan dan model yang kami gunakan. Saya tahu kami terbatas dalam banyak hal yang tampaknya tidak Anda miliki, tetapi apa perbedaan antara kekuatan yang Anda miliki dan kekuatan yang dapat kami gunakan?

Ilya：

Kesenjangan antara model yang Anda sebutkan memang menjadi masalah.

Maksud saya, sekarang kami memiliki GPT-4, Anda tahu kami sedang berlatih, Anda memiliki akses ke GPT-4,** dan kami benar-benar mengerjakan model masa depan berikutnya. **

Mungkin saya dapat menggambarkan celah ini sebagai berikut: Saat kami terus membangun dan meningkatkan model AI dengan kemampuan yang ditingkatkan, terdapat celah yang lebih besar yang memerlukan periode dan waktu pengujian yang lebih lama. Kami bekerja dengan tim untuk memahami batasan model, dan semua cara yang Anda ketahui, gunakan sebanyak mungkin, tetapi kami juga memperluas model secara bertahap.

Misalnya, sekarang GPT-4 memiliki kemampuan pengenalan visual, dan Anda (versi yang Anda gunakan) belum meluncurkan fitur ini karena pekerjaan akhir belum selesai. Tetapi segera kita akan mencapai ini. Jadi saya pikir itu menjawab pertanyaan Anda, mungkin tidak terlalu jauh di masa depan.

Pertanyaan 4: Pertanyaan saya adalah tentang superintelijen dan dilema Rokos Basilisk, dapatkah Anda menguraikan bagaimana GPT dan OpenAI menangani dilema ini?

*Catatan: Basilisk Roko adalah kiasan untuk diskusi online dan eksperimen pemikiran yang melibatkan hipotesis tentang superintelligence di masa depan. *

*Dikatakan bahwa kecerdasan super ini dapat memperoleh informasi melalui perjalanan waktu atau cara lain yang membuat orang menyakitinya, dan menghukum mereka yang tidak membantu mencapai kelahirannya. Kiasan ini dengan demikian menimbulkan dilema etis: apakah pengembangan superintelligence harus didukung dan dipromosikan sekarang untuk menghindari kemungkinan hukuman di masa depan. *

Ilya：

Meskipun Rocco's Basilisk bukanlah sesuatu yang sangat kami khawatirkan, kami jelas sangat peduli dengan superintelligence.

Mungkin tidak semua orang, bahkan tidak semua penonton mengerti apa yang kami maksud dengan superintelligence.

Apa yang kami maksudkan adalah kemungkinan suatu hari membangun komputer, sekelompok komputer dalam bentuk GPU, yang lebih pintar dari siapa pun dan mampu melakukan sains dan penelitian lebih cepat daripada tim besar yang terdiri dari ilmuwan dan insinyur berpengalaman. .

Ini gila, dan itu akan berdampak besar.

Itu dapat merancang versi berikutnya dari sistem AI dan membangun AI yang sangat kuat. Jadi posisi kami adalah ** superintelijen memiliki efek yang luas, dapat memiliki efek yang sangat positif, tetapi juga sangat berbahaya, dan kami perlu berhati-hati. **

Di sinilah pendekatan IAEA (Badan Energi Atom Internasional) yang Anda sebutkan masuk untuk sistem mutakhir dan superintelijen yang sangat canggih di masa depan. Kita perlu melakukan banyak penelitian untuk memanfaatkan kekuatan kecerdasan super agar sesuai dengan harapan kita, untuk keuntungan kita dan untuk kepentingan umat manusia.

Inilah posisi kami dalam superintelligence, yang merupakan tantangan superintelligence pamungkas yang dihadapi umat manusia.

Melihat kembali sejarah evolusi manusia, replikator sel tunggal muncul sekitar 4 miliar tahun lalu. Kemudian, selama miliaran tahun, berbagai organisme bersel tunggal muncul. Sekitar satu miliar tahun yang lalu, kehidupan multisel mulai muncul. Ratusan juta tahun yang lalu, reptil muncul di bumi. Mamalia muncul sekitar 60 juta tahun yang lalu. Sekitar 1 juta tahun yang lalu, primata muncul, diikuti dengan kemunculan Homo sapiens. 10.000 tahun kemudian, tulisan muncul. Kemudian datanglah Revolusi Pertanian, Revolusi Industri dan Revolusi Teknologi. Sekarang, kami akhirnya memiliki AGI, kecerdasan super terakhir dan tantangan utama kami.

Pertanyaan 5: Saya belajar ilmu komputer dan saya akan lulus, saya bertanya-tanya apakah mempelajari ilmu komputer akan memberi saya pekerjaan yang baik dalam 10-15 tahun ke depan?

Diri:

Saya pikir mempelajari ilmu komputer itu berharga.

Meskipun saya hampir tidak pernah menulis kode sendiri,** Saya menganggap mempelajari ilmu komputer sebagai salah satu hal terbaik yang pernah saya lakukan. Itu mengajari saya cara berpikir dan memecahkan masalah, keterampilan yang sangat berguna di bidang apa pun. **

Sekalipun pekerjaan seorang pemrogram komputer terlihat berbeda dalam 10 hingga 15 tahun dari sekarang, mempelajari cara belajar adalah salah satu keterampilan yang paling penting, termasuk mempelajari hal-hal baru dengan cepat, mengantisipasi tren masa depan, dapat beradaptasi dan ulet, memahami kebutuhan orang lain, dan bagaimana untuk menjadi berguna.

Jadi tidak diragukan lagi bahwa sifat pekerjaan akan berubah, tetapi saya tidak dapat membayangkan dunia di mana orang tidak meluangkan waktu untuk melakukan sesuatu yang menciptakan nilai bagi orang lain dan semua manfaat yang menyertainya. Mungkin di masa mendatang, kita akan peduli siapa yang memiliki galaksi yang lebih keren, tetapi hal-hal baik tertentu (seperti penciptaan nilai) tidak akan berubah.

Pertanyaan 6: Anda membuat sejarah, bagaimana Anda ingin sejarah mengingat Anda?

Ilya：

Maksud saya, dengan cara terbaik.