Джерело зображення: створено інструментом Unbounded AI
Європейське турне SamAltman ще триває. Нещодавно в Лондоні він мав закриту дискусію з генеральним директором компанії AI HumanLooop. HumanLoop — це компанія, яка допомагає розробникам створювати додатки на великих мовних моделях.
Генеральний директор HumanLoop Раза Хабіб записав основні моменти розмови та опублікував їх на веб-сайті компанії. Але потім на вимогу OpenAI протоколи вилучили. Це, у свою чергу, збільшило цікавість зовнішнього світу до розмови. Дехто припустив, що до цієї зміни були залучені деякі думки OpenAI.
Geek Park, переглянувши видалені хвилини розмови, виявив, що в очах Сема йдеться не лише про короткострокове планування OpenAI, але й приховується тиск на OpenAI після отримання потужної підтримки від ресурсів хмарних обчислень Microsoft. Зрештою, точне налаштування моделі та міркування все ще споживають багато обчислювальних ресурсів. Згідно з The Information, модель Open AI коштувала Microsoft Azure 1,2 мільярда доларів, зосередивши обчислювальні ресурси на підтримці OpenAI і обмеживши сервери, доступні іншим відділам Microsoft.
У зв'язку з цим Сем сказав, що зниження витрат є основною метою на даний момент.
Крім того, Сем також розповів, що наразі такі служби, як відкриття довших контекстних вікон і надання API для тонкого налаштування, обмежені ресурсами GPU;
У цій розмові Сем Альтман відповів на багато зовнішніх проблем, таких як конкуренція та комерціалізація:
Незважаючи на те, що найняли менеджера з продуктів світового класу Пітера Денга, OpenAI не розглядатиме випуск нових продуктів;
Майбутня тенденція додатків полягає в тому, щоб вбудовувати функції великої моделі в більше APP замість того, щоб розширювати більше плагінів на ChatGPT, тому що насправді більшість плагінів не показують PMF (Product / Market Fit, тобто відповідність продукту ринку). );
За останні кілька років OpenAI збільшив розмір моделі в мільйони разів, але ця швидкість не є стабільною. Далі OpenAI продовжить збільшувати розмір моделі від 1 до 3 разів, щоб покращити продуктивність моделі.
Протоколи розмови були оприлюднені 29 травня, а за записами користувачів мережі були видалені приблизно 3 червня. Ось що ви отримуєте з резервною копією:
01, OpenAI зараз сильно обмежений GPU
У міру масштабування розмов необхідні обчислювальні ресурси зростають експоненціально
Зараз OpenAI має дуже обмежені графічні процесори, що призвело до затримки багатьох їхніх короткострокових планів. Найбільші претензії клієнтів викликають надійність і швидкість API. Сем визнав їхнє занепокоєння, пояснивши, що більшість проблем пов’язані з нестачею графічних процесорів.
Довший 32-кілобітний контекст ще не можна розгорнути для більшої кількості людей. OpenAI не подолав O(n^2) масштабування уваги, тому, хоча це здавалося правдоподібним, незабаром (цього року) вони матимуть 100 тис. – 1 млн вікон контексту токенів, для чогось більшого знадобиться науковий прорив.
Довші контексти 32K недоступні для більшої кількості людей. OpenAI не подолав проблему масштабування O(n^2) механізму уваги, хоча, схоже, незабаром (цього року) вони матимуть контекстне вікно 100k-1M Token. Будь-яке велике вікно потребуватиме наукового прориву.
*Примітка: O (n^2) означає, що зі збільшенням довжини послідовності обчислювальні ресурси, необхідні для виконання обчислень уваги, зростають експоненціально. O використовується для опису верхньої межі або найгіршого випадку темпу зростання часової або просторової складності алгоритму; (n^2) означає, що складність пропорційна квадрату розміру вхідних даних. *
API тонкого налаштування наразі також обмежений доступністю GPU. Вони не використовували ефективні методи тонкого налаштування, такі як адаптери або LoRa, тому запуск і керування (моделлю) за допомогою тонкого налаштування вимагає великих обчислень. Кращу підтримку для тонкого налаштування буде надано в майбутньому. Вони можуть навіть організувати ринок на основі спільноти для внесків моделей.
Виділена ємність обмежена доступністю GPU. OpenAI пропонує спеціальну ємність, надаючи клієнтам приватну копію моделі. Щоб отримати послугу, клієнти повинні бути готові заплатити 100 000 доларів наперед.
02, нещодавня дорожня карта OpenAI
2023 рік — розумне зниження витрат; 2024 рік — обмежена демонстрація мультимодальності
Сем також поділився тим, що він бачить як проміжну короткострокову дорожню карту для OpenAI API.
2023:
Дешевший і швидший GPT-4 — це їхній головний пріоритет. Загалом, мета OpenAI полягає в тому, щоб максимально знизити «вартість інтелекту», тому вони наполегливо працюватимуть, щоб продовжувати знижувати вартість API з часом.
Довше контекстне вікно — найближчим часом контекстне вікно може сягати 1 мільйона токенів.
API тонкого налаштування — API тонкого налаштування буде розширено до останніх моделей, але точна форма залежатиме від того, що розробники кажуть, що вони дійсно хочуть.
API зі збереженням стану. Викликаючи сьогодні API чату, вам доведеться знову і знову переглядати ту саму історію сеансу, сплачуючи ті самі токени знову і знову. Буде майбутня версія API, яка запам’ятовує історію сеансів.
2024:
Мультимодальний – це демонструється як частина випуску GPT-4, але не буде масштабовано для всіх, доки не з’явиться більше GPU.
03. Комерційний прогноз і мислення: плагіни «без PMF» можуть не скоро з'явитися в API
Багато розробників зацікавлені в тому, щоб плагіни ChatGPT були доступними через API, але Сем сказав, що він не думає, що вони будуть випущені найближчим часом. Окрім плагіна Brosing, використання інших плагінів показує відсутність PMF (Product/Market Fit). Він зазначив, що багато людей думають, що вони хочуть, щоб їхній додаток був у ChatGPT, але насправді вони хочуть ChatGPT усередині додатка.
04. За винятком ChatGPT, OpenAI уникатиме конкуренції зі своїми клієнтами
У великих компаній є вбивча програма
Багато розробників сказали, що вони хвилювалися щодо розробки з OpenAI API, тому що OpenAI може з часом випустити продукти, які будуть конкурентоспроможними з ними. Сем сказав, що OpenAI не випускатиме більше продуктів за межами ChatGPT. За його словами, історично склалося так, що великі компанії-платформи мали вбивчу програму. ChatGPT дозволить розробникам ставати клієнтами власних продуктів для покращення API. Бачення ChatGPT полягає в тому, щоб стати суперрозумним робочим помічником, але є багато інших випадків використання GPT, до яких OpenAI не буде залучений.
05. Регулювання потрібне, але не зараз
«Я скептично ставлюся до того, скільки людей і компаній здатні тримати великих моделей»
Незважаючи на те, що Сем закликає регулювати майбутні моделі, він не вважає існуючі моделі небезпечними і що їх регулювання чи заборона було б великою помилкою. Він знову підкреслив важливість відкритого коду та сказав, що OpenAI розглядає можливість зробити GPT-3 відкритим кодом. Вони ще не були відкритими, частково тому, що він скептично ставиться до того, скільки людей і компаній здатні тримати та обслуговувати великі мовні моделі (LLM).
06. Закони масштабу все ще діють
Швидкість розширення в мільйони разів за кілька років не може тривати вічно.
Останнім часом з’явилося багато статей про те, що «епоха гігантських моделей ШІ закінчилася». Це не точно. (Примітка: на заході в Массачусетському технологічному інституті в квітні Сем Альтман сказав: «Ми наближаємося до кінця ери гігантських моделей».)
Внутрішні дані OpenAI показують, що закони масштабування продуктивності моделі все ще застосовуються, і збільшення розміру моделі продовжуватиме покращувати продуктивність.
Оскільки OpenAI збільшив масштаб моделей у мільйони разів лише за кілька років, така швидкість масштабування не може підтримуватися. Це не означає, що OpenAI не буде продовжувати намагатися зробити моделі більшими, але це означає, що вони, швидше за все, подвоюватимуться чи потроюватимуться щороку, а не на багато порядків.
Той факт, що діють закони масштабу, має важливі наслідки для графіка розробки AGI. Припущення закону масштабу полягає в тому, що ми, ймовірно, вже маємо більшість інгредієнтів, необхідних для створення AGI, і що решта роботи полягає в основному в масштабуванні існуючих методів для більших моделей і більших наборів даних. Якщо епоха масштабу закінчиться, ми можемо бути ще далі від AGI. Той факт, що закони розміру продовжують застосовуватися, суттєво означає коротший часовий проміжок.
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Видалено хвилини розмови Сема Альтмана: відкритому штучному інтелекту також не вистачає GPU, головною метою є зниження витрат
Автор | Округ Лінцзи
Редактор | Вей Шицзе
Джерело丨Geek Park
Європейське турне SamAltman ще триває. Нещодавно в Лондоні він мав закриту дискусію з генеральним директором компанії AI HumanLooop. HumanLoop — це компанія, яка допомагає розробникам створювати додатки на великих мовних моделях.
Генеральний директор HumanLoop Раза Хабіб записав основні моменти розмови та опублікував їх на веб-сайті компанії. Але потім на вимогу OpenAI протоколи вилучили. Це, у свою чергу, збільшило цікавість зовнішнього світу до розмови. Дехто припустив, що до цієї зміни були залучені деякі думки OpenAI.
Geek Park, переглянувши видалені хвилини розмови, виявив, що в очах Сема йдеться не лише про короткострокове планування OpenAI, але й приховується тиск на OpenAI після отримання потужної підтримки від ресурсів хмарних обчислень Microsoft. Зрештою, точне налаштування моделі та міркування все ще споживають багато обчислювальних ресурсів. Згідно з The Information, модель Open AI коштувала Microsoft Azure 1,2 мільярда доларів, зосередивши обчислювальні ресурси на підтримці OpenAI і обмеживши сервери, доступні іншим відділам Microsoft.
У зв'язку з цим Сем сказав, що зниження витрат є основною метою на даний момент.
Крім того, Сем також розповів, що наразі такі служби, як відкриття довших контекстних вікон і надання API для тонкого налаштування, обмежені ресурсами GPU;
У цій розмові Сем Альтман відповів на багато зовнішніх проблем, таких як конкуренція та комерціалізація:
Незважаючи на те, що найняли менеджера з продуктів світового класу Пітера Денга, OpenAI не розглядатиме випуск нових продуктів;
Майбутня тенденція додатків полягає в тому, щоб вбудовувати функції великої моделі в більше APP замість того, щоб розширювати більше плагінів на ChatGPT, тому що насправді більшість плагінів не показують PMF (Product / Market Fit, тобто відповідність продукту ринку). );
За останні кілька років OpenAI збільшив розмір моделі в мільйони разів, але ця швидкість не є стабільною. Далі OpenAI продовжить збільшувати розмір моделі від 1 до 3 разів, щоб покращити продуктивність моделі.
Протоколи розмови були оприлюднені 29 травня, а за записами користувачів мережі були видалені приблизно 3 червня. Ось що ви отримуєте з резервною копією:
01, OpenAI зараз сильно обмежений GPU
У міру масштабування розмов необхідні обчислювальні ресурси зростають експоненціально
Зараз OpenAI має дуже обмежені графічні процесори, що призвело до затримки багатьох їхніх короткострокових планів. Найбільші претензії клієнтів викликають надійність і швидкість API. Сем визнав їхнє занепокоєння, пояснивши, що більшість проблем пов’язані з нестачею графічних процесорів.
Довший 32-кілобітний контекст ще не можна розгорнути для більшої кількості людей. OpenAI не подолав O(n^2) масштабування уваги, тому, хоча це здавалося правдоподібним, незабаром (цього року) вони матимуть 100 тис. – 1 млн вікон контексту токенів, для чогось більшого знадобиться науковий прорив.
Довші контексти 32K недоступні для більшої кількості людей. OpenAI не подолав проблему масштабування O(n^2) механізму уваги, хоча, схоже, незабаром (цього року) вони матимуть контекстне вікно 100k-1M Token. Будь-яке велике вікно потребуватиме наукового прориву.
*Примітка: O (n^2) означає, що зі збільшенням довжини послідовності обчислювальні ресурси, необхідні для виконання обчислень уваги, зростають експоненціально. O використовується для опису верхньої межі або найгіршого випадку темпу зростання часової або просторової складності алгоритму; (n^2) означає, що складність пропорційна квадрату розміру вхідних даних. *
API тонкого налаштування наразі також обмежений доступністю GPU. Вони не використовували ефективні методи тонкого налаштування, такі як адаптери або LoRa, тому запуск і керування (моделлю) за допомогою тонкого налаштування вимагає великих обчислень. Кращу підтримку для тонкого налаштування буде надано в майбутньому. Вони можуть навіть організувати ринок на основі спільноти для внесків моделей.
Виділена ємність обмежена доступністю GPU. OpenAI пропонує спеціальну ємність, надаючи клієнтам приватну копію моделі. Щоб отримати послугу, клієнти повинні бути готові заплатити 100 000 доларів наперед.
02, нещодавня дорожня карта OpenAI
2023 рік — розумне зниження витрат; 2024 рік — обмежена демонстрація мультимодальності
Сем також поділився тим, що він бачить як проміжну короткострокову дорожню карту для OpenAI API.
2023:
Дешевший і швидший GPT-4 — це їхній головний пріоритет. Загалом, мета OpenAI полягає в тому, щоб максимально знизити «вартість інтелекту», тому вони наполегливо працюватимуть, щоб продовжувати знижувати вартість API з часом.
Довше контекстне вікно — найближчим часом контекстне вікно може сягати 1 мільйона токенів.
API тонкого налаштування — API тонкого налаштування буде розширено до останніх моделей, але точна форма залежатиме від того, що розробники кажуть, що вони дійсно хочуть.
API зі збереженням стану. Викликаючи сьогодні API чату, вам доведеться знову і знову переглядати ту саму історію сеансу, сплачуючи ті самі токени знову і знову. Буде майбутня версія API, яка запам’ятовує історію сеансів.
2024:
Мультимодальний – це демонструється як частина випуску GPT-4, але не буде масштабовано для всіх, доки не з’явиться більше GPU.
03. Комерційний прогноз і мислення: плагіни «без PMF» можуть не скоро з'явитися в API
Багато розробників зацікавлені в тому, щоб плагіни ChatGPT були доступними через API, але Сем сказав, що він не думає, що вони будуть випущені найближчим часом. Окрім плагіна Brosing, використання інших плагінів показує відсутність PMF (Product/Market Fit). Він зазначив, що багато людей думають, що вони хочуть, щоб їхній додаток був у ChatGPT, але насправді вони хочуть ChatGPT усередині додатка.
04. За винятком ChatGPT, OpenAI уникатиме конкуренції зі своїми клієнтами
У великих компаній є вбивча програма
Багато розробників сказали, що вони хвилювалися щодо розробки з OpenAI API, тому що OpenAI може з часом випустити продукти, які будуть конкурентоспроможними з ними. Сем сказав, що OpenAI не випускатиме більше продуктів за межами ChatGPT. За його словами, історично склалося так, що великі компанії-платформи мали вбивчу програму. ChatGPT дозволить розробникам ставати клієнтами власних продуктів для покращення API. Бачення ChatGPT полягає в тому, щоб стати суперрозумним робочим помічником, але є багато інших випадків використання GPT, до яких OpenAI не буде залучений.
05. Регулювання потрібне, але не зараз
«Я скептично ставлюся до того, скільки людей і компаній здатні тримати великих моделей»
Незважаючи на те, що Сем закликає регулювати майбутні моделі, він не вважає існуючі моделі небезпечними і що їх регулювання чи заборона було б великою помилкою. Він знову підкреслив важливість відкритого коду та сказав, що OpenAI розглядає можливість зробити GPT-3 відкритим кодом. Вони ще не були відкритими, частково тому, що він скептично ставиться до того, скільки людей і компаній здатні тримати та обслуговувати великі мовні моделі (LLM).
06. Закони масштабу все ще діють
Швидкість розширення в мільйони разів за кілька років не може тривати вічно.
Останнім часом з’явилося багато статей про те, що «епоха гігантських моделей ШІ закінчилася». Це не точно. (Примітка: на заході в Массачусетському технологічному інституті в квітні Сем Альтман сказав: «Ми наближаємося до кінця ери гігантських моделей».)
Внутрішні дані OpenAI показують, що закони масштабування продуктивності моделі все ще застосовуються, і збільшення розміру моделі продовжуватиме покращувати продуктивність.
Оскільки OpenAI збільшив масштаб моделей у мільйони разів лише за кілька років, така швидкість масштабування не може підтримуватися. Це не означає, що OpenAI не буде продовжувати намагатися зробити моделі більшими, але це означає, що вони, швидше за все, подвоюватимуться чи потроюватимуться щороку, а не на багато порядків.
Той факт, що діють закони масштабу, має важливі наслідки для графіка розробки AGI. Припущення закону масштабу полягає в тому, що ми, ймовірно, вже маємо більшість інгредієнтів, необхідних для створення AGI, і що решта роботи полягає в основному в масштабуванні існуючих методів для більших моделей і більших наборів даних. Якщо епоха масштабу закінчиться, ми можемо бути ще далі від AGI. Той факт, що закони розміру продовжують застосовуватися, суттєво означає коротший часовий проміжок.