Повний текст китайського діалогу Сема Альтмана: Ми повинні бути обережними щодо ризиків ШІ, але набагато легше зрозуміти нейронні мережі, ніж зрозуміти, що думають люди
Виступ Сема Альтмана відбувся 10 червня на підфорумі AI Security and Alignment Conference Zhiyuan. На сцені було повно місць, коли на екрані з’явився генеральний директор OpenAI, пролунали оплески, і майже всі підняли мобільні телефони, щоб сфотографуватися на екрані.
Але сам Альтман виглядає спокійним, навіть обережним. Це перший випадок після того, як ChatGPT спровокував світовий бум штучного інтелекту минулого року, коли Сем Альтман публічно висловив свою думку на китайському тлі.
Власне, того дня він теж був неподалік від Китаю, щойно прибув до Сеула та зустрівся з президентом Південної Кореї. Після свого виступу він також мав особисті запитання та відповіді з Чжан Хунцзяном, головою науково-дослідного інституту Zhiyuan. Нижче наведені ключові моменти та факти.
Ключові моменти:
У міру наближення до AGI у технологіях наслідки та підводні камені зміщення зростатимуть експоненціально.
Наразі OpenAI використовує технологію зворотного зв’язку з підкріплюючим навчанням, щоб переконатися, що системи штучного інтелекту є корисними та безпечними, а також досліджує нові технології. Однією з ідей є використання систем штучного інтелекту, щоб допомогти людям контролювати інші системи ШІ.
Через десять років люди отримають потужні системи штучного інтелекту (ШІ).
OpenAI не має відповідного нового графіка з відкритим вихідним кодом, і хоча він визнає, що модель з відкритим кодом має переваги, коли мова йде про безпеку штучного інтелекту, відкритий код для всього може бути не найкращим шляхом.
Зрозуміти нейронну мережу набагато легше, ніж людський мозок.
Китай має найкращі таланти у сфері штучного інтелекту, а безпека ШІ вимагає участі та внеску китайських дослідників.
Нижче подано стенограму виступу:
Сьогодні я хочу поговорити про майбутнє. Зокрема, темпи зростання, які ми бачимо в можливостях ШІ. Що нам потрібно зробити зараз, щоб відповідально підготувати світ до їх впровадження? Історія науки навчила нас, що технологічний прогрес йде експоненціальною кривою. Ми вже бачимо це в історії, від сільського господарства та промисловості до комп’ютерної революції. Що вражає в штучному інтелекті, так це не тільки його вплив, а й швидкість його розвитку. Він розсуває межі людської уяви, і робить це швидкими темпами.
Уявіть собі, що протягом наступного десятиліття системи, які зазвичай називають штучним загальним інтелектом (AGI), перевершать людський досвід майже в усіх сферах. Ці системи можуть з часом перевищити колективну продуктивність наших найбільших компаній. Тут приховується величезний потенціал зростання. Революція штучного інтелекту створить спільне багатство та дозволить підвищити рівень життя кожного, вирішити загальні виклики, такі як зміна клімату та глобальна безпека охорони здоров’я, а також покращити суспільний добробут незліченною кількістю інших способів.
Я твердо вірю в це майбутнє, і щоб його реалізувати та насолоджуватися ним, нам потрібно спільно інвестувати в безпеку AGI та керувати ризиками. Якщо ми не будемо обережні, система AGI, яка не відповідає меті, може підірвати всю систему охорони здоров’я, надаючи необґрунтовані рекомендації. Подібним чином система AGI, призначена для оптимізації сільськогосподарської практики, може ненавмисно виснажити природні ресурси або пошкодити екосистеми, впливаючи на виробництво їжі та екологічний баланс через відсутність уваги до довгострокової стійкості.
Сподіваюся, ми всі можемо погодитися, що підвищення безпеки AGI є однією з наших найважливіших сфер. Я хочу зосередити решту свого виступу на тому, з чого, я думаю, ми можемо почати.
Однією з сфер є управління AGI, технологією глобального значення. Ціна нещасних випадків через необдуманий розвиток і розгортання вплине на всіх нас.
У цьому відношенні є два ключових елементи:
По-перше, нам потрібно встановити міжнародні норми та стандарти, а також, за допомогою інклюзивного процесу, розробити однакові та однакові засоби захисту для використання AGI в усіх країнах. Ми вважаємо, що в рамках цих засобів захисту люди мають широкі можливості робити власний вибір.
По-друге, нам потрібна міжнародна співпраця, щоб побудувати глобальну довіру до безпечної розробки дедалі потужніших систем штучного інтелекту в спосіб, який можна перевірити. Це непросте завдання. Нам потрібна постійна і критична увага з боку міжнародного співтовариства, щоб зробити це добре. «Дао Де Цзин» нагадує нам, що подорож у тисячу миль починається з одного кроку. Ми вважаємо, що найконструктивнішим першим кроком є співпраця з міжнародним технологічним співтовариством.
Зокрема, ми повинні сприяти механізмам підвищення прозорості та обміну знаннями щодо технологічних досягнень безпеки AGI. Дослідники, які виявляють нові проблеми безпеки, повинні ділитися своїми ідеями заради загального блага. Нам потрібно ретельно подумати, як ми можемо заохочувати такі норми, поважаючи та захищаючи права інтелектуальної власності.
Якщо ми зробимо це добре, це відкриє для нас нові двері для поглиблення нашої співпраці. У більш широкому плані ми повинні інвестувати, сприяти та спрямовувати інвестиції в цільові дослідження та дослідження безпеки.
Наше сьогоднішнє цільове дослідження в OpenAI зосереджено на технічних питаннях щодо того, як змусити системи штучного інтелекту діяти як корисні та безпечні помічники в наших поточних системах. Це може означати, як ми навчимо ChatGPT, щоб він не погрожував насильством і не допомагав користувачам у шкідливих діях.
Але в міру наближення до AGI потенційний вплив і масштаби будь-якої невідповідності зростатимуть експоненціально. Щоб завчасно вирішити ці проблеми, ми прагнемо мінімізувати ризики катастрофічних наслідків у майбутньому. У поточній системі ми в першу чергу використовуємо навчання з підкріпленням на основі відгуків людини, щоб навчити нашу модель діяти як корисний і безпечний помічник.
Це приклад цільової техніки після тренування, і ми також зайняті розробкою нових. Щоб зробити це якісно, потрібна велика інженерна робота. Нам знадобилося 8 місяців, щоб зробити це з моменту завершення попереднього навчання GPT-4 до його розгортання. Загалом ми вважаємо, що тут ми на правильному шляху. GPT-4 відповідає меті краще, ніж будь-яка з наших попередніх моделей.
Однак націлювання залишається відкритою проблемою для більш просунутих систем, які, на нашу думку, вимагатимуть нових технічних підходів, а також більшого управління та контролю. Уявіть собі футуристичну систему AGI, яка містить 100 000 рядків двійкового коду. Людські наглядачі навряд чи виявлять, чи така модель робить щось негідне.
Тож ми інвестуємо в деякі нові та додаткові напрями досліджень, які, як ми сподіваємося, приведуть до проривів. Один – масштабований нагляд. Ми можемо спробувати використовувати системи ШІ, щоб допомогти людям контролювати інші системи ШІ. Наприклад, ми можемо навчити модель, щоб допомогти людям-наглядачам помітити недоліки в результатах інших моделей. Друге – інтерпретабельність. Ми хотіли спробувати краще зрозуміти, що відбувається всередині цих моделей.
Нещодавно ми опублікували статтю з використанням GPT-4 для інтерпретації нейронів у GPT-2. В іншій статті ми використовуємо внутрішні елементи моделі, щоб визначити, коли модель бреше. Хоча нам ще попереду довгий шлях, ми вважаємо, що передові методи машинного навчання можуть ще більше покращити нашу здатність генерувати пояснення.
Зрештою, наша мета — навчити системи штучного інтелекту допомагати цілеспрямованим дослідженням. Багатообіцяючим аспектом цього підходу є те, що він масштабується відповідно до темпів розвитку ШІ. Оскільки майбутні моделі ставатимуть все розумнішими та кориснішими як помічники, ми знайдемо кращі методи, які реалізуватимуть надзвичайні переваги AGI, одночасно пом’якшуючи ризики, що є одним із найважливіших викликів нашого часу.
Нижче подаємо стенограму розмови:
Чжан Хунцзян: Як далеко ми від штучного інтелекту? Ризик нагальний, чи ми далекі від нього? Незалежно від того, безпечний чи потенційно небезпечний ШІ.
Сем Альтман: Цю проблему важко точно передбачити, тому що вона вимагає нових дослідницьких ідей, які не завжди розвиваються відповідно до встановленого графіка. Це може статися швидко або може зайняти більше часу. Я думаю, що це важко передбачити з будь-яким ступенем упевненості. Але я думаю, що протягом наступного десятиліття ми можемо мати дуже потужні системи ШІ. У такому світі я вважаю важливим і терміновим вирішення цієї проблеми, тому я закликаю міжнародне співтовариство працювати разом для вирішення цієї проблеми. Історія дає нам кілька прикладів того, як нові технології змінюють світ швидше, ніж багато хто може собі уявити. Вплив і прискорення цих систем, які ми бачимо зараз, є в певному сенсі безпрецедентними. Тож я вважаю, що має сенс бути готовим до того, що це станеться якнайшвидше, і звернути увагу на аспекти безпеки, враховуючи їхній вплив і важливість.
Чжан Хунцзян: Ви відчуваєте терміновість?
Сем Альтман: Так, я це відчуваю. Я хочу підкреслити, що ми насправді не знаємо. І визначення штучного інтелекту інше, але я думаю, що через десять років ми повинні бути готові до світу з дуже потужними системами.
Чжан Хунцзян: Ви також згадали кілька глобальних кооперацій у своєму виступі щойно. Ми знаємо, що за останні шість-сім десятиліть світ зіткнувся з багатьма кризами. Але для багатьох із цих криз нам вдалося досягти консенсусу та глобальної співпраці. Ви теж у світовому турі. Яку глобальну співпрацю ви просуваєте? Як ви ставитеся до відгуків, які ви отримали досі?
Сем Альтман: Так, я дуже задоволений тими відгуками, які отримав на даний момент. Я вважаю, що люди дуже серйозно сприймають ризики та можливості, які відкриває штучний інтелект. Я думаю, що дискусія з цього приводу за останні шість місяців просунулася далеко вперед. Люди справді працюють над тим, щоб створити структуру, за допомогою якої ми зможемо користуватися цими перевагами, працюючи разом над пом’якшенням ризиків. Я думаю, що ми в дуже гарному становищі для цього. Глобальна співпраця завжди складна, але я бачу в ній можливість і загрозу, яка може об’єднати світ. Було б дуже корисно, якби ми могли розробити певні рамки та стандарти безпеки, щоб керувати розробкою цих систем.
Чжан Хунцзян: Щодо цієї конкретної теми ви згадали, що узгодження передових систем штучного інтелекту є невирішеною проблемою. Я також помітив, що за останні кілька років Open AI доклав багато зусиль. Ви також згадали GPT-4 як найкращий приклад з точки зору вирівнювання. Як ви думаєте, чи можемо ми вирішити проблеми безпеки штучного інтелекту шляхом узгодження? Або ця проблема більша, ніж вирівнювання?
Сем Альтман: Я думаю, що є різні використання слова вирівнювання. Я думаю, що нам потрібно вирішити повну проблему створення безпечних систем ШІ. Вирівнювання традиційно полягало в тому, щоб змусити модель поводитись так, як хоче користувач, і це, безумовно, є частиною цього. Але є й інші запитання, на які ми маємо відповісти, наприклад, як ми перевіряємо, що системи роблять те, що ми хочемо, і з чиїми цінностями ми узгоджуємо системи. Але я вважаю, що важливо бачити повну картину того, що потрібно для досягнення безпечного ШІ.
Чжан Хунцзян: Так, вирівнювання все ще має місце. Якщо ми подивимося на те, що зробив GPT-4, здебільшого це все ще з технічної точки зору. Але крім технологій є багато інших факторів. Це дуже складне питання. Часто складні проблеми є системними. Можливо, безпека ШІ не є винятком. Крім технічних аспектів, які ще фактори та проблеми, на вашу думку, є критичними для безпеки ШІ? Як нам відповідати на ці виклики? Тим паче, що більшість із нас науковці, що нам робити?
Сем Альтман: Звичайно, це дуже складне питання. Я б сказав, що без технічного рішення все інше важко. Я вважаю, що дуже важливо зосередитися на тому, щоб переконатися, що ми розглядаємо технічні аспекти безпеки. Як я вже згадував, з’ясувати, з якими значеннями ми хочемо узгодити систему, не є технічною проблемою. Це потребує технічного внеску, але це питання потребує глибокого обговорення всім суспільством. Ми повинні розробляти системи, які є справедливими, репрезентативними та інклюзивними. І, як ви зазначили, ми маємо враховувати не лише безпеку самої моделі ШІ, але й безпеку всієї системи. Тому також важливо створювати класифікатори та детектори безпеки, які можуть працювати поверх моделі та контролювати відповідність політикам використання. Крім того, я також думаю, що важко заздалегідь передбачити, що піде не так з будь-якою технологією. Тому вчіться в реальному світі та розгортайте ітеративно, подивіться, що станеться, коли ви помістите модель у реальний світ, удосконалите її, і дайте людям і суспільству час навчитися й оновити, і подумайте про те, як ці моделі будуть використані для добра та погано вплинути на їх життя. Це теж дуже важливо.
Чжан Хунцзян: Ви щойно згадали про глобальну співпрацю. Ви відвідали багато країн і згадали Китай. Але чи можете ви поділитися деякими результатами, яких ви досягли у плані співпраці? Які у вас є плани чи ідеї щодо наступних кроків? З цього світового туру, з вашої взаємодії з різними урядами, інституціями, установами?
Сем Альтман: Я думаю, що загалом потрібно багато різних точок зору та безпеки ШІ. Ми ще не маємо відповідей на всі питання, і це досить складне і важливе питання.
Крім того, як уже згадувалося, це не суто технічне питання, щоб зробити ШІ безпечним і корисним. Включає розуміння уподобань користувачів у різних країнах у дуже різних контекстах. Нам потрібно багато різних вхідних даних, щоб це сталося. У Китаї є одні з найкращих талантів у сфері ШІ у світі. По суті, я вважаю, що найкращі уми з усього світу потрібні для вирішення труднощів узгодження передових систем ШІ. Тож я справді сподіваюся, що китайські дослідники штучного інтелекту зможуть зробити тут великий внесок.
Чжан Хунцзян: Я розумію, що сьогоднішній форум присвячений безпеці штучного інтелекту, тому що люди дуже цікавляться OpenAI, тож у мене є багато запитань про OpenAI, а не лише щодо безпеки штучного інтелекту. У мене є запитання аудиторії: чи є плани OpenAI знову відкрити вихідний код своїх моделей, як це було до версії 3.0? Я також вважаю, що відкритий код хороший для безпеки ШІ.
Сем Альтман: Деякі з наших моделей є з відкритим кодом, а деякі – ні, але з плином часу я думаю, ви повинні очікувати, що ми продовжуватимемо відкривати код більше моделей у майбутньому. У мене немає конкретної моделі чи термінів, але це те, що ми зараз обговорюємо.
Чжан Хунцзян: Ми докладаємо всіх зусиль до відкритого коду, включаючи саму модель, алгоритми для розробки моделі та інструменти для оптимізації зв’язку між моделлю та даними. Ми віримо в необхідність ділитися вмістом і давати користувачам відчуття контролю над тим, що вони використовують. У вас є подібні відгуки? Або це те, що ви обговорюєте в OpenAI?
Сем Альтман: Так, я думаю, що відкрите програмне забезпечення відіграє певну важливу роль. Останнім часом також з’явилося багато нових моделей з відкритим кодом. Я думаю, що модель API також відіграє важливу роль. Це надає нам додаткові засоби контролю безпеки. Ви можете заблокувати певне використання. Ви можете заблокувати певні типи налаштувань. Якщо щось не працює, ви можете забрати це назад. У масштабі нинішньої моделі я не надто переживаю з цього приводу. Але оскільки модель стає настільки потужною, якою ми очікуємо, якщо ми маємо рацію, я вважаю, що відкритий код може бути не найкращим шляхом, хоча іноді це правильно. Я думаю, що ми просто повинні це ретельно збалансувати.
Чжан Хунцзян: Додаткове питання щодо безпеки GPT-4 і AI полягає в тому, чи потрібно нам змінювати всю інфраструктуру чи архітектуру всієї моделі AGI, щоб зробити її безпечнішою та легшою для перевірки? Що ви думаєте з цього приводу?
Сем Альтман: Це безперечно можливо, нам потрібні дуже різні архітектури як з точки зору можливостей, так і безпеки. Я думаю, що ми зможемо досягти певного прогресу в пояснюваності на поточних типах моделей, і вони краще пояснять нам, що вони роблять і чому. Але мене не здивує, якби після трансформаторів стався ще один гігантський стрибок. І фактично ми вже в оригінальному трансформері, архітектура сильно змінилася.
Чжан Хунцзян: Мені, як досліднику, також цікаво, який наступний напрямок досліджень AGI? Що стосується великих моделей, великих мовних моделей, чи побачимо ми скоро GPT-5? Чи наступний рубіж у втілених моделях? Чи є автономна робототехніка сферою, яку OpenAI є або планує досліджувати?
Сем Альтман: Мені також цікаво, що буде далі, і одна з моїх улюблених речей у цій роботі полягає в тому, що передові дослідження викликають багато хвилювання та несподіванок. Ми ще не маємо відповідей, тому ми досліджуємо багато можливих нових парадигм. Звичайно, в якийсь момент ми спробуємо зробити модель GPT-5, але не найближчим часом. Ми не знаємо, коли саме. Ми працюємо над робототехнікою з самого початку OpenAI, і нам це дуже цікаво, але у нас виникли деякі труднощі. Сподіваюся, одного дня ми зможемо повернутися до цієї сфери.
Чжан Хунцзян: Звучить чудово. Ви також згадали у своїй презентації, як ви використовуєте GPT-4, щоб пояснити, як працює GPT-2, роблячи модель більш безпечною. Чи масштабується цей підхід? Чи буде OpenAI розвиватися в цьому напрямку в майбутньому?
Сем Альтман: Ми продовжуватимемо працювати в цьому напрямку.
Чжан Хунцзян: Як ви думаєте, чи можна застосувати цей метод до біологічних нейронів? Тому що причина, чому я задаю це запитання, полягає в тому, що є деякі біологи та нейробіологи, які хочуть використовувати цей метод для вивчення та дослідження того, як працюють людські нейрони у своїй галузі.
Сем Альтман: Набагато легше побачити, що відбувається на штучних нейронах, ніж на біологічних. Тому я думаю, що цей підхід справедливий для штучних нейронних мереж. Я думаю, що є спосіб використовувати більш потужні моделі, щоб допомогти нам зрозуміти інші моделі. Але я не зовсім впевнений, як би ви застосували цей підхід до людського мозку.
Чжан Хунцзян: Добре, дякую. Тепер, коли ми поговорили про безпеку штучного інтелекту та керування AGI, одне з питань, яке ми обговорювали, чи було б безпечніше, якби у світі було лише три моделі? Це як ядерний контроль, ви не хочете, щоб ядерна зброя поширювалася. У нас є договір, за яким ми намагаємося контролювати кількість країн, які можуть отримати цю технологію. Отже, чи можна контролювати кількість моделей?
Сем Альтман: Я думаю, що існують різні думки щодо того, що безпечніше мати у світі модель меншості чи модель більшості. Я вважаю, що важливіше, чи є у нас система, у якій будь-яка надійна модель адекватно перевіряється на безпеку? Чи є у нас структура, за якої будь-хто, хто створює достатньо надійну модель, має ресурси та відповідальність за те, щоб те, що вони створюють, було безпечним і узгодженим?
Чжан Хунцзян: На цій зустрічі вчора професор Макс з Інституту майбутнього життя Массачусетського технологічного інституту згадав про можливий метод, подібний до того, як ми контролюємо розробку ліків. Коли вчені або компанії розробляють нові ліки, ви не можете напряму продавати їх. Ви повинні пройти цей процес тестування. Чи можна цьому навчитися?
Сем Альтман: Я точно вважаю, що ми можемо багато чому навчитися з ліцензійних і тестових систем, які були розроблені в різних галузях. Але я думаю, що принципово ми маємо щось, що може працювати.
Чжан Хунцзян: Дуже дякую, Семе. Дякуємо, що знайшли час відвідати цю зустріч, хоч і віртуальну. Я впевнений, що є ще багато питань, але враховуючи час, ми повинні зупинитися на цьому. Я сподіваюся, що наступного разу, коли у вас буде можливість приїхати до Китаю, приїжджайте до Пекіна, ми зможемо провести більш глибоку дискусію. Велике спасибі.
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Повний текст китайського діалогу Сема Альтмана: Ми повинні бути обережними щодо ризиків ШІ, але набагато легше зрозуміти нейронні мережі, ніж зрозуміти, що думають люди
Автор｜Ніл Шен
Джерело丨Pinwan
Виступ Сема Альтмана відбувся 10 червня на підфорумі AI Security and Alignment Conference Zhiyuan. На сцені було повно місць, коли на екрані з’явився генеральний директор OpenAI, пролунали оплески, і майже всі підняли мобільні телефони, щоб сфотографуватися на екрані.
Але сам Альтман виглядає спокійним, навіть обережним. Це перший випадок після того, як ChatGPT спровокував світовий бум штучного інтелекту минулого року, коли Сем Альтман публічно висловив свою думку на китайському тлі.
Власне, того дня він теж був неподалік від Китаю, щойно прибув до Сеула та зустрівся з президентом Південної Кореї. Після свого виступу він також мав особисті запитання та відповіді з Чжан Хунцзяном, головою науково-дослідного інституту Zhiyuan. Нижче наведені ключові моменти та факти.
Ключові моменти:
У міру наближення до AGI у технологіях наслідки та підводні камені зміщення зростатимуть експоненціально.
Наразі OpenAI використовує технологію зворотного зв’язку з підкріплюючим навчанням, щоб переконатися, що системи штучного інтелекту є корисними та безпечними, а також досліджує нові технології. Однією з ідей є використання систем штучного інтелекту, щоб допомогти людям контролювати інші системи ШІ.
Через десять років люди отримають потужні системи штучного інтелекту (ШІ).
OpenAI не має відповідного нового графіка з відкритим вихідним кодом, і хоча він визнає, що модель з відкритим кодом має переваги, коли мова йде про безпеку штучного інтелекту, відкритий код для всього може бути не найкращим шляхом.
Зрозуміти нейронну мережу набагато легше, ніж людський мозок.
Китай має найкращі таланти у сфері штучного інтелекту, а безпека ШІ вимагає участі та внеску китайських дослідників.
Нижче подано стенограму виступу:
Сьогодні я хочу поговорити про майбутнє. Зокрема, темпи зростання, які ми бачимо в можливостях ШІ. Що нам потрібно зробити зараз, щоб відповідально підготувати світ до їх впровадження? Історія науки навчила нас, що технологічний прогрес йде експоненціальною кривою. Ми вже бачимо це в історії, від сільського господарства та промисловості до комп’ютерної революції. Що вражає в штучному інтелекті, так це не тільки його вплив, а й швидкість його розвитку. Він розсуває межі людської уяви, і робить це швидкими темпами.
Уявіть собі, що протягом наступного десятиліття системи, які зазвичай називають штучним загальним інтелектом (AGI), перевершать людський досвід майже в усіх сферах. Ці системи можуть з часом перевищити колективну продуктивність наших найбільших компаній. Тут приховується величезний потенціал зростання. Революція штучного інтелекту створить спільне багатство та дозволить підвищити рівень життя кожного, вирішити загальні виклики, такі як зміна клімату та глобальна безпека охорони здоров’я, а також покращити суспільний добробут незліченною кількістю інших способів.
Я твердо вірю в це майбутнє, і щоб його реалізувати та насолоджуватися ним, нам потрібно спільно інвестувати в безпеку AGI та керувати ризиками. Якщо ми не будемо обережні, система AGI, яка не відповідає меті, може підірвати всю систему охорони здоров’я, надаючи необґрунтовані рекомендації. Подібним чином система AGI, призначена для оптимізації сільськогосподарської практики, може ненавмисно виснажити природні ресурси або пошкодити екосистеми, впливаючи на виробництво їжі та екологічний баланс через відсутність уваги до довгострокової стійкості.
Сподіваюся, ми всі можемо погодитися, що підвищення безпеки AGI є однією з наших найважливіших сфер. Я хочу зосередити решту свого виступу на тому, з чого, я думаю, ми можемо почати.
Однією з сфер є управління AGI, технологією глобального значення. Ціна нещасних випадків через необдуманий розвиток і розгортання вплине на всіх нас.
У цьому відношенні є два ключових елементи:
По-перше, нам потрібно встановити міжнародні норми та стандарти, а також, за допомогою інклюзивного процесу, розробити однакові та однакові засоби захисту для використання AGI в усіх країнах. Ми вважаємо, що в рамках цих засобів захисту люди мають широкі можливості робити власний вибір.
По-друге, нам потрібна міжнародна співпраця, щоб побудувати глобальну довіру до безпечної розробки дедалі потужніших систем штучного інтелекту в спосіб, який можна перевірити. Це непросте завдання. Нам потрібна постійна і критична увага з боку міжнародного співтовариства, щоб зробити це добре. «Дао Де Цзин» нагадує нам, що подорож у тисячу миль починається з одного кроку. Ми вважаємо, що найконструктивнішим першим кроком є співпраця з міжнародним технологічним співтовариством.
Зокрема, ми повинні сприяти механізмам підвищення прозорості та обміну знаннями щодо технологічних досягнень безпеки AGI. Дослідники, які виявляють нові проблеми безпеки, повинні ділитися своїми ідеями заради загального блага. Нам потрібно ретельно подумати, як ми можемо заохочувати такі норми, поважаючи та захищаючи права інтелектуальної власності.
Якщо ми зробимо це добре, це відкриє для нас нові двері для поглиблення нашої співпраці. У більш широкому плані ми повинні інвестувати, сприяти та спрямовувати інвестиції в цільові дослідження та дослідження безпеки.
Наше сьогоднішнє цільове дослідження в OpenAI зосереджено на технічних питаннях щодо того, як змусити системи штучного інтелекту діяти як корисні та безпечні помічники в наших поточних системах. Це може означати, як ми навчимо ChatGPT, щоб він не погрожував насильством і не допомагав користувачам у шкідливих діях.
Але в міру наближення до AGI потенційний вплив і масштаби будь-якої невідповідності зростатимуть експоненціально. Щоб завчасно вирішити ці проблеми, ми прагнемо мінімізувати ризики катастрофічних наслідків у майбутньому. У поточній системі ми в першу чергу використовуємо навчання з підкріпленням на основі відгуків людини, щоб навчити нашу модель діяти як корисний і безпечний помічник.
Це приклад цільової техніки після тренування, і ми також зайняті розробкою нових. Щоб зробити це якісно, потрібна велика інженерна робота. Нам знадобилося 8 місяців, щоб зробити це з моменту завершення попереднього навчання GPT-4 до його розгортання. Загалом ми вважаємо, що тут ми на правильному шляху. GPT-4 відповідає меті краще, ніж будь-яка з наших попередніх моделей.
Однак націлювання залишається відкритою проблемою для більш просунутих систем, які, на нашу думку, вимагатимуть нових технічних підходів, а також більшого управління та контролю. Уявіть собі футуристичну систему AGI, яка містить 100 000 рядків двійкового коду. Людські наглядачі навряд чи виявлять, чи така модель робить щось негідне.
Тож ми інвестуємо в деякі нові та додаткові напрями досліджень, які, як ми сподіваємося, приведуть до проривів. Один – масштабований нагляд. Ми можемо спробувати використовувати системи ШІ, щоб допомогти людям контролювати інші системи ШІ. Наприклад, ми можемо навчити модель, щоб допомогти людям-наглядачам помітити недоліки в результатах інших моделей. Друге – інтерпретабельність. Ми хотіли спробувати краще зрозуміти, що відбувається всередині цих моделей.
Нещодавно ми опублікували статтю з використанням GPT-4 для інтерпретації нейронів у GPT-2. В іншій статті ми використовуємо внутрішні елементи моделі, щоб визначити, коли модель бреше. Хоча нам ще попереду довгий шлях, ми вважаємо, що передові методи машинного навчання можуть ще більше покращити нашу здатність генерувати пояснення.
Зрештою, наша мета — навчити системи штучного інтелекту допомагати цілеспрямованим дослідженням. Багатообіцяючим аспектом цього підходу є те, що він масштабується відповідно до темпів розвитку ШІ. Оскільки майбутні моделі ставатимуть все розумнішими та кориснішими як помічники, ми знайдемо кращі методи, які реалізуватимуть надзвичайні переваги AGI, одночасно пом’якшуючи ризики, що є одним із найважливіших викликів нашого часу.
Нижче подаємо стенограму розмови:
Чжан Хунцзян: Як далеко ми від штучного інтелекту? Ризик нагальний, чи ми далекі від нього? Незалежно від того, безпечний чи потенційно небезпечний ШІ.
Сем Альтман: Цю проблему важко точно передбачити, тому що вона вимагає нових дослідницьких ідей, які не завжди розвиваються відповідно до встановленого графіка. Це може статися швидко або може зайняти більше часу. Я думаю, що це важко передбачити з будь-яким ступенем упевненості. Але я думаю, що протягом наступного десятиліття ми можемо мати дуже потужні системи ШІ. У такому світі я вважаю важливим і терміновим вирішення цієї проблеми, тому я закликаю міжнародне співтовариство працювати разом для вирішення цієї проблеми. Історія дає нам кілька прикладів того, як нові технології змінюють світ швидше, ніж багато хто може собі уявити. Вплив і прискорення цих систем, які ми бачимо зараз, є в певному сенсі безпрецедентними. Тож я вважаю, що має сенс бути готовим до того, що це станеться якнайшвидше, і звернути увагу на аспекти безпеки, враховуючи їхній вплив і важливість.
Чжан Хунцзян: Ви відчуваєте терміновість?
Сем Альтман: Так, я це відчуваю. Я хочу підкреслити, що ми насправді не знаємо. І визначення штучного інтелекту інше, але я думаю, що через десять років ми повинні бути готові до світу з дуже потужними системами.
Чжан Хунцзян: Ви також згадали кілька глобальних кооперацій у своєму виступі щойно. Ми знаємо, що за останні шість-сім десятиліть світ зіткнувся з багатьма кризами. Але для багатьох із цих криз нам вдалося досягти консенсусу та глобальної співпраці. Ви теж у світовому турі. Яку глобальну співпрацю ви просуваєте? Як ви ставитеся до відгуків, які ви отримали досі?
Сем Альтман: Так, я дуже задоволений тими відгуками, які отримав на даний момент. Я вважаю, що люди дуже серйозно сприймають ризики та можливості, які відкриває штучний інтелект. Я думаю, що дискусія з цього приводу за останні шість місяців просунулася далеко вперед. Люди справді працюють над тим, щоб створити структуру, за допомогою якої ми зможемо користуватися цими перевагами, працюючи разом над пом’якшенням ризиків. Я думаю, що ми в дуже гарному становищі для цього. Глобальна співпраця завжди складна, але я бачу в ній можливість і загрозу, яка може об’єднати світ. Було б дуже корисно, якби ми могли розробити певні рамки та стандарти безпеки, щоб керувати розробкою цих систем.
Чжан Хунцзян: Щодо цієї конкретної теми ви згадали, що узгодження передових систем штучного інтелекту є невирішеною проблемою. Я також помітив, що за останні кілька років Open AI доклав багато зусиль. Ви також згадали GPT-4 як найкращий приклад з точки зору вирівнювання. Як ви думаєте, чи можемо ми вирішити проблеми безпеки штучного інтелекту шляхом узгодження? Або ця проблема більша, ніж вирівнювання?
Сем Альтман: Я думаю, що є різні використання слова вирівнювання. Я думаю, що нам потрібно вирішити повну проблему створення безпечних систем ШІ. Вирівнювання традиційно полягало в тому, щоб змусити модель поводитись так, як хоче користувач, і це, безумовно, є частиною цього. Але є й інші запитання, на які ми маємо відповісти, наприклад, як ми перевіряємо, що системи роблять те, що ми хочемо, і з чиїми цінностями ми узгоджуємо системи. Але я вважаю, що важливо бачити повну картину того, що потрібно для досягнення безпечного ШІ.
Чжан Хунцзян: Так, вирівнювання все ще має місце. Якщо ми подивимося на те, що зробив GPT-4, здебільшого це все ще з технічної точки зору. Але крім технологій є багато інших факторів. Це дуже складне питання. Часто складні проблеми є системними. Можливо, безпека ШІ не є винятком. Крім технічних аспектів, які ще фактори та проблеми, на вашу думку, є критичними для безпеки ШІ? Як нам відповідати на ці виклики? Тим паче, що більшість із нас науковці, що нам робити?
Сем Альтман: Звичайно, це дуже складне питання. Я б сказав, що без технічного рішення все інше важко. Я вважаю, що дуже важливо зосередитися на тому, щоб переконатися, що ми розглядаємо технічні аспекти безпеки. Як я вже згадував, з’ясувати, з якими значеннями ми хочемо узгодити систему, не є технічною проблемою. Це потребує технічного внеску, але це питання потребує глибокого обговорення всім суспільством. Ми повинні розробляти системи, які є справедливими, репрезентативними та інклюзивними. І, як ви зазначили, ми маємо враховувати не лише безпеку самої моделі ШІ, але й безпеку всієї системи. Тому також важливо створювати класифікатори та детектори безпеки, які можуть працювати поверх моделі та контролювати відповідність політикам використання. Крім того, я також думаю, що важко заздалегідь передбачити, що піде не так з будь-якою технологією. Тому вчіться в реальному світі та розгортайте ітеративно, подивіться, що станеться, коли ви помістите модель у реальний світ, удосконалите її, і дайте людям і суспільству час навчитися й оновити, і подумайте про те, як ці моделі будуть використані для добра та погано вплинути на їх життя. Це теж дуже важливо.
Чжан Хунцзян: Ви щойно згадали про глобальну співпрацю. Ви відвідали багато країн і згадали Китай. Але чи можете ви поділитися деякими результатами, яких ви досягли у плані співпраці? Які у вас є плани чи ідеї щодо наступних кроків? З цього світового туру, з вашої взаємодії з різними урядами, інституціями, установами?
Сем Альтман: Я думаю, що загалом потрібно багато різних точок зору та безпеки ШІ. Ми ще не маємо відповідей на всі питання, і це досить складне і важливе питання.
Крім того, як уже згадувалося, це не суто технічне питання, щоб зробити ШІ безпечним і корисним. Включає розуміння уподобань користувачів у різних країнах у дуже різних контекстах. Нам потрібно багато різних вхідних даних, щоб це сталося. У Китаї є одні з найкращих талантів у сфері ШІ у світі. По суті, я вважаю, що найкращі уми з усього світу потрібні для вирішення труднощів узгодження передових систем ШІ. Тож я справді сподіваюся, що китайські дослідники штучного інтелекту зможуть зробити тут великий внесок.
Чжан Хунцзян: Я розумію, що сьогоднішній форум присвячений безпеці штучного інтелекту, тому що люди дуже цікавляться OpenAI, тож у мене є багато запитань про OpenAI, а не лише щодо безпеки штучного інтелекту. У мене є запитання аудиторії: чи є плани OpenAI знову відкрити вихідний код своїх моделей, як це було до версії 3.0? Я також вважаю, що відкритий код хороший для безпеки ШІ.
Сем Альтман: Деякі з наших моделей є з відкритим кодом, а деякі – ні, але з плином часу я думаю, ви повинні очікувати, що ми продовжуватимемо відкривати код більше моделей у майбутньому. У мене немає конкретної моделі чи термінів, але це те, що ми зараз обговорюємо.
Чжан Хунцзян: Ми докладаємо всіх зусиль до відкритого коду, включаючи саму модель, алгоритми для розробки моделі та інструменти для оптимізації зв’язку між моделлю та даними. Ми віримо в необхідність ділитися вмістом і давати користувачам відчуття контролю над тим, що вони використовують. У вас є подібні відгуки? Або це те, що ви обговорюєте в OpenAI?
Сем Альтман: Так, я думаю, що відкрите програмне забезпечення відіграє певну важливу роль. Останнім часом також з’явилося багато нових моделей з відкритим кодом. Я думаю, що модель API також відіграє важливу роль. Це надає нам додаткові засоби контролю безпеки. Ви можете заблокувати певне використання. Ви можете заблокувати певні типи налаштувань. Якщо щось не працює, ви можете забрати це назад. У масштабі нинішньої моделі я не надто переживаю з цього приводу. Але оскільки модель стає настільки потужною, якою ми очікуємо, якщо ми маємо рацію, я вважаю, що відкритий код може бути не найкращим шляхом, хоча іноді це правильно. Я думаю, що ми просто повинні це ретельно збалансувати.
Чжан Хунцзян: Додаткове питання щодо безпеки GPT-4 і AI полягає в тому, чи потрібно нам змінювати всю інфраструктуру чи архітектуру всієї моделі AGI, щоб зробити її безпечнішою та легшою для перевірки? Що ви думаєте з цього приводу?
Сем Альтман: Це безперечно можливо, нам потрібні дуже різні архітектури як з точки зору можливостей, так і безпеки. Я думаю, що ми зможемо досягти певного прогресу в пояснюваності на поточних типах моделей, і вони краще пояснять нам, що вони роблять і чому. Але мене не здивує, якби після трансформаторів стався ще один гігантський стрибок. І фактично ми вже в оригінальному трансформері, архітектура сильно змінилася.
Чжан Хунцзян: Мені, як досліднику, також цікаво, який наступний напрямок досліджень AGI? Що стосується великих моделей, великих мовних моделей, чи побачимо ми скоро GPT-5? Чи наступний рубіж у втілених моделях? Чи є автономна робототехніка сферою, яку OpenAI є або планує досліджувати?
Сем Альтман: Мені також цікаво, що буде далі, і одна з моїх улюблених речей у цій роботі полягає в тому, що передові дослідження викликають багато хвилювання та несподіванок. Ми ще не маємо відповідей, тому ми досліджуємо багато можливих нових парадигм. Звичайно, в якийсь момент ми спробуємо зробити модель GPT-5, але не найближчим часом. Ми не знаємо, коли саме. Ми працюємо над робототехнікою з самого початку OpenAI, і нам це дуже цікаво, але у нас виникли деякі труднощі. Сподіваюся, одного дня ми зможемо повернутися до цієї сфери.
Чжан Хунцзян: Звучить чудово. Ви також згадали у своїй презентації, як ви використовуєте GPT-4, щоб пояснити, як працює GPT-2, роблячи модель більш безпечною. Чи масштабується цей підхід? Чи буде OpenAI розвиватися в цьому напрямку в майбутньому?
Сем Альтман: Ми продовжуватимемо працювати в цьому напрямку.
Чжан Хунцзян: Як ви думаєте, чи можна застосувати цей метод до біологічних нейронів? Тому що причина, чому я задаю це запитання, полягає в тому, що є деякі біологи та нейробіологи, які хочуть використовувати цей метод для вивчення та дослідження того, як працюють людські нейрони у своїй галузі.
Сем Альтман: Набагато легше побачити, що відбувається на штучних нейронах, ніж на біологічних. Тому я думаю, що цей підхід справедливий для штучних нейронних мереж. Я думаю, що є спосіб використовувати більш потужні моделі, щоб допомогти нам зрозуміти інші моделі. Але я не зовсім впевнений, як би ви застосували цей підхід до людського мозку.
Чжан Хунцзян: Добре, дякую. Тепер, коли ми поговорили про безпеку штучного інтелекту та керування AGI, одне з питань, яке ми обговорювали, чи було б безпечніше, якби у світі було лише три моделі? Це як ядерний контроль, ви не хочете, щоб ядерна зброя поширювалася. У нас є договір, за яким ми намагаємося контролювати кількість країн, які можуть отримати цю технологію. Отже, чи можна контролювати кількість моделей?
Сем Альтман: Я думаю, що існують різні думки щодо того, що безпечніше мати у світі модель меншості чи модель більшості. Я вважаю, що важливіше, чи є у нас система, у якій будь-яка надійна модель адекватно перевіряється на безпеку? Чи є у нас структура, за якої будь-хто, хто створює достатньо надійну модель, має ресурси та відповідальність за те, щоб те, що вони створюють, було безпечним і узгодженим?
Чжан Хунцзян: На цій зустрічі вчора професор Макс з Інституту майбутнього життя Массачусетського технологічного інституту згадав про можливий метод, подібний до того, як ми контролюємо розробку ліків. Коли вчені або компанії розробляють нові ліки, ви не можете напряму продавати їх. Ви повинні пройти цей процес тестування. Чи можна цьому навчитися?
Сем Альтман: Я точно вважаю, що ми можемо багато чому навчитися з ліцензійних і тестових систем, які були розроблені в різних галузях. Але я думаю, що принципово ми маємо щось, що може працювати.
Чжан Хунцзян: Дуже дякую, Семе. Дякуємо, що знайшли час відвідати цю зустріч, хоч і віртуальну. Я впевнений, що є ще багато питань, але враховуючи час, ми повинні зупинитися на цьому. Я сподіваюся, що наступного разу, коли у вас буде можливість приїхати до Китаю, приїжджайте до Пекіна, ми зможемо провести більш глибоку дискусію. Велике спасибі.