Источник изображения: сгенерировано инструментом Unbounded AI
Европейский тур SamAltman все еще продолжается. Не так давно в Лондоне у него была беседа за закрытыми дверями с генеральным директором компании HumanLooop, занимающейся искусственным интеллектом. HumanLoop — это компания, которая помогает разработчикам создавать приложения на больших языковых моделях.
Генеральный директор HumanLoop Раза Хабиб записал основные моменты разговора и опубликовал их на веб-сайте компании. Но затем по требованию OpenAI протоколы были отозваны. Это, в свою очередь, увеличило любопытство внешнего мира к разговору. Некоторые предполагают, что к этому изменению были причастны некоторые идеи OpenAI.
Гик Парк, просматривая удаленные минуты разговора, обнаружил, что это не только касалось краткосрочного планирования OpenAI в глазах Сэма, но и скрывало давление на OpenAI после получения мощной поддержки со стороны ресурсов облачных вычислений Microsoft. В конце концов, тонкая настройка модели и рассуждения по-прежнему потребляют много вычислительных ресурсов. Согласно информации, модель Open AI обошлась Microsoft Azure в 1,2 миллиарда долларов, концентрируя вычислительные ресурсы на поддержке OpenAI и ограничивая количество серверов, доступных для других отделов Microsoft.
В связи с этим Сэм сказал, что в настоящее время основной целью является снижение затрат.
Кроме того, Сэм также сообщил, что в настоящее время такие службы, как открытие более длинных контекстных окон и предоставление API-интерфейсов тонкой настройки, ограничены ресурсами графического процессора;
В этом разговоре Сэм Альтман ответил на многие внешние проблемы, такие как конкуренция и коммерциализация:
Несмотря на то, что OpenAI только что нанял менеджера по продукту мирового класса Питера Денга, он не будет рассматривать возможность выпуска большего количества продуктов;
Будущая тенденция приложений состоит в том, чтобы встраивать функции большой модели в большее количество приложений вместо того, чтобы увеличивать количество подключаемых модулей в ChatGPT, поскольку в действительности большинство подключаемых модулей не показывают PMF (соответствие продукта/рынка, то есть соответствие продукта рынку). );
За последние несколько лет OpenAI увеличил размер модели в миллионы раз, но эта скорость не является устойчивой. Далее OpenAI продолжит увеличивать размер модели со скоростью от 1 до 3 раз, чтобы повысить производительность модели.
Протокол разговора был обнародован 29 мая и, согласно записям пользователей сети, был удален примерно 3 июня. Вот что вы получаете с резервной копией:
01, OpenAI в настоящее время сильно ограничен GPU
По мере масштабирования разговоров требуемые вычислительные ресурсы растут в геометрической прогрессии.
OpenAI в настоящее время имеет очень ограниченное количество графических процессоров, что отложило многие из их краткосрочных планов. Самые большие жалобы от клиентов связаны с надежностью и скоростью работы API. Сэм признал их опасения, объяснив, что большинство проблем было связано с нехваткой графических процессоров.
Более длинный контекст 32 КБ еще не может быть развернут для большего числа людей. OpenAI не преодолела масштабирование внимания O(n^2), и, хотя это казалось правдоподобным, вскоре (в этом году) у них будет от 100 000 до 1 000 000 окон контекста токенов, а для чего-то большего потребуется исследовательский прорыв.
Более длинные контексты размером 32 КБ недоступны большему количеству людей. OpenAI не преодолела проблему масштабирования O (n ^ 2) механизма внимания, хотя похоже, что скоро (в этом году) у них будет контекстное окно с токеном 100k-1M. Любое большее окно потребует прорывов в исследованиях.
*Примечание: O (n^2) означает, что по мере увеличения длины последовательности вычислительные ресурсы, необходимые для выполнения расчетов внимания, увеличиваются в геометрической прогрессии. O используется для описания верхнего предела или наихудшего случая скорости роста временной или пространственной сложности алгоритма; (n ^ 2) означает, что сложность пропорциональна квадрату размера входных данных. *
API тонкой настройки также в настоящее время ограничен доступностью графического процессора. Они не использовали эффективные методы тонкой настройки, такие как адаптеры или LoRa, поэтому запуск и управление (моделью) посредством тонкой настройки требует очень больших вычислительных ресурсов. В будущем будет обеспечена улучшенная поддержка тонкой настройки. Они могут даже организовать рынок для моделей, основанный на сообществах.
Предоставление выделенной емкости ограничено доступностью графического процессора. OpenAI предлагает выделенные ресурсы, предоставляя клиентам частную копию модели. Чтобы получить услугу, клиенты должны быть готовы заплатить 100 000 долларов авансом.
02, недавняя дорожная карта OpenAI
2023 г., разумное снижение затрат, 2024 г., ограниченная демонстрация мультимодальности
Сэм также поделился тем, что он считает временной краткосрочной дорожной картой для OpenAI API.
2023:
Дешевле и быстрее GPT-4 — вот их главный приоритет. В целом цель OpenAI состоит в том, чтобы максимально снизить «стоимость интеллекта», поэтому они будут усердно работать, чтобы и дальше снижать стоимость API с течением времени.
Более длинное контекстное окно — в ближайшем будущем контекстное окно может достигать 1 миллиона токенов.
API тонкой настройки — API тонкой настройки будет расширен до последних моделей, но точная форма будет зависеть от того, чего, по словам разработчиков, они действительно хотят.
API с отслеживанием состояния. Сегодня при вызове API чата вам приходится снова и снова просматривать одну и ту же историю сеансов, снова и снова оплачивая одни и те же токены. Будущая версия API запоминает историю сеансов.
2024:
Мультимодальность — это демонстрируется в рамках выпуска GPT-4, но не будет масштабироваться для всех, пока не появится больше графических процессоров.
##03. Коммерческие прогнозы и размышления: плагины "без PMF" могут появиться в API не скоро
Многие разработчики заинтересованы в том, чтобы плагины ChatGPT были доступны через API, но Сэм сказал, что не думает, что они будут выпущены в ближайшее время. Помимо плагина Brosing, использование других плагинов показывает, что PMF (Product/Market Fit) отсутствует. Он отметил, что многие люди думают, что хотят, чтобы их приложение было внутри ChatGPT, но на самом деле они хотят, чтобы ChatGPT был внутри приложения.
04. За исключением ChatGPT, OpenAI не будет конкурировать со своими клиентами
У великих компаний есть убойное приложение
Многие разработчики сказали, что они нервничают по поводу разработки с помощью API OpenAI, потому что OpenAI может в конечном итоге выпустить продукты, которые будут конкурировать с ними. Сэм сказал, что OpenAI больше не будет выпускать продукты за пределами ChatGPT. По его словам, исторически сложилось так, что у великих платформенных компаний были убийственные приложения. ChatGPT позволит разработчикам стать клиентами собственных продуктов для улучшения API. Видение ChatGPT состоит в том, чтобы стать сверхинтеллектуальным помощником по работе, но есть много других вариантов использования GPT, в которых OpenAI не будет участвовать.
05. Регулирование нужно, но не сейчас
«Я скептически отношусь к тому, сколько людей и компаний способны держать большие модели»
Хотя Сэм призвал к регулированию будущих моделей, он не считает существующие модели опасными и что их регулирование или запрет было бы большой ошибкой. Он подтвердил важность открытого исходного кода и сказал, что OpenAI рассматривает возможность сделать GPT-3 открытым исходным кодом. Они еще не были открыты, отчасти потому, что он скептически относится к тому, сколько людей и компаний могут хранить и обслуживать большие языковые модели (LLM).
06. Законы масштаба все еще действуют
Скорость расширения в миллионы раз за несколько лет не может продолжаться вечно.
В последнее время появилось много статей о том, что «эпоха гигантских моделей ИИ закончилась». Это не точно. (Примечание: на мероприятии в Массачусетском технологическом институте в апреле Сэм Альтман сказал: «Сейчас мы приближаемся к концу эры гигантских моделей».)
Внутренние данные OpenAI показывают, что законы масштабирования производительности модели все еще применяются, и увеличение размера модели будет продолжать улучшать производительность.
Поскольку OpenAI увеличил модели в миллионы раз всего за несколько лет, такая скорость масштабирования не может поддерживаться. Это не означает, что OpenAI не будет продолжать попытки сделать модели больше, но это означает, что они, скорее всего, удваиваются или утраиваются в размерах каждый год, а не на много порядков.
Тот факт, что действуют законы масштаба, имеет важные последствия для графика разработки ОИИ. Предположение закона масштаба состоит в том, что у нас, вероятно, уже есть большинство ингредиентов, необходимых для создания ОИИ, и что остальная работа в основном заключается в масштабировании существующих методов для более крупных моделей и более крупных наборов данных. Если эпоха масштабов закончилась, мы можем быть еще дальше от ОИИ. Тот факт, что законы размера продолжают действовать, подразумевает более короткие сроки.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Удаленные протоколы выступления Сэма Альтмана: Open AI также не имеет графического процессора, основной целью является снижение затрат.
Автор | Уезд Линцзы
Редактор | Вэй Шицзе
Источник 丨Geek Park
Европейский тур SamAltman все еще продолжается. Не так давно в Лондоне у него была беседа за закрытыми дверями с генеральным директором компании HumanLooop, занимающейся искусственным интеллектом. HumanLoop — это компания, которая помогает разработчикам создавать приложения на больших языковых моделях.
Генеральный директор HumanLoop Раза Хабиб записал основные моменты разговора и опубликовал их на веб-сайте компании. Но затем по требованию OpenAI протоколы были отозваны. Это, в свою очередь, увеличило любопытство внешнего мира к разговору. Некоторые предполагают, что к этому изменению были причастны некоторые идеи OpenAI.
Гик Парк, просматривая удаленные минуты разговора, обнаружил, что это не только касалось краткосрочного планирования OpenAI в глазах Сэма, но и скрывало давление на OpenAI после получения мощной поддержки со стороны ресурсов облачных вычислений Microsoft. В конце концов, тонкая настройка модели и рассуждения по-прежнему потребляют много вычислительных ресурсов. Согласно информации, модель Open AI обошлась Microsoft Azure в 1,2 миллиарда долларов, концентрируя вычислительные ресурсы на поддержке OpenAI и ограничивая количество серверов, доступных для других отделов Microsoft.
В связи с этим Сэм сказал, что в настоящее время основной целью является снижение затрат.
Кроме того, Сэм также сообщил, что в настоящее время такие службы, как открытие более длинных контекстных окон и предоставление API-интерфейсов тонкой настройки, ограничены ресурсами графического процессора;
В этом разговоре Сэм Альтман ответил на многие внешние проблемы, такие как конкуренция и коммерциализация:
Несмотря на то, что OpenAI только что нанял менеджера по продукту мирового класса Питера Денга, он не будет рассматривать возможность выпуска большего количества продуктов;
Будущая тенденция приложений состоит в том, чтобы встраивать функции большой модели в большее количество приложений вместо того, чтобы увеличивать количество подключаемых модулей в ChatGPT, поскольку в действительности большинство подключаемых модулей не показывают PMF (соответствие продукта/рынка, то есть соответствие продукта рынку). );
За последние несколько лет OpenAI увеличил размер модели в миллионы раз, но эта скорость не является устойчивой. Далее OpenAI продолжит увеличивать размер модели со скоростью от 1 до 3 раз, чтобы повысить производительность модели.
Протокол разговора был обнародован 29 мая и, согласно записям пользователей сети, был удален примерно 3 июня. Вот что вы получаете с резервной копией:
01, OpenAI в настоящее время сильно ограничен GPU
По мере масштабирования разговоров требуемые вычислительные ресурсы растут в геометрической прогрессии.
OpenAI в настоящее время имеет очень ограниченное количество графических процессоров, что отложило многие из их краткосрочных планов. Самые большие жалобы от клиентов связаны с надежностью и скоростью работы API. Сэм признал их опасения, объяснив, что большинство проблем было связано с нехваткой графических процессоров.
Более длинный контекст 32 КБ еще не может быть развернут для большего числа людей. OpenAI не преодолела масштабирование внимания O(n^2), и, хотя это казалось правдоподобным, вскоре (в этом году) у них будет от 100 000 до 1 000 000 окон контекста токенов, а для чего-то большего потребуется исследовательский прорыв.
Более длинные контексты размером 32 КБ недоступны большему количеству людей. OpenAI не преодолела проблему масштабирования O (n ^ 2) механизма внимания, хотя похоже, что скоро (в этом году) у них будет контекстное окно с токеном 100k-1M. Любое большее окно потребует прорывов в исследованиях.
*Примечание: O (n^2) означает, что по мере увеличения длины последовательности вычислительные ресурсы, необходимые для выполнения расчетов внимания, увеличиваются в геометрической прогрессии. O используется для описания верхнего предела или наихудшего случая скорости роста временной или пространственной сложности алгоритма; (n ^ 2) означает, что сложность пропорциональна квадрату размера входных данных. *
API тонкой настройки также в настоящее время ограничен доступностью графического процессора. Они не использовали эффективные методы тонкой настройки, такие как адаптеры или LoRa, поэтому запуск и управление (моделью) посредством тонкой настройки требует очень больших вычислительных ресурсов. В будущем будет обеспечена улучшенная поддержка тонкой настройки. Они могут даже организовать рынок для моделей, основанный на сообществах.
Предоставление выделенной емкости ограничено доступностью графического процессора. OpenAI предлагает выделенные ресурсы, предоставляя клиентам частную копию модели. Чтобы получить услугу, клиенты должны быть готовы заплатить 100 000 долларов авансом.
02, недавняя дорожная карта OpenAI
2023 г., разумное снижение затрат, 2024 г., ограниченная демонстрация мультимодальности
Сэм также поделился тем, что он считает временной краткосрочной дорожной картой для OpenAI API.
2023:
Дешевле и быстрее GPT-4 — вот их главный приоритет. В целом цель OpenAI состоит в том, чтобы максимально снизить «стоимость интеллекта», поэтому они будут усердно работать, чтобы и дальше снижать стоимость API с течением времени.
Более длинное контекстное окно — в ближайшем будущем контекстное окно может достигать 1 миллиона токенов.
API тонкой настройки — API тонкой настройки будет расширен до последних моделей, но точная форма будет зависеть от того, чего, по словам разработчиков, они действительно хотят.
API с отслеживанием состояния. Сегодня при вызове API чата вам приходится снова и снова просматривать одну и ту же историю сеансов, снова и снова оплачивая одни и те же токены. Будущая версия API запоминает историю сеансов.
2024:
Мультимодальность — это демонстрируется в рамках выпуска GPT-4, но не будет масштабироваться для всех, пока не появится больше графических процессоров.
##03. Коммерческие прогнозы и размышления: плагины "без PMF" могут появиться в API не скоро
Многие разработчики заинтересованы в том, чтобы плагины ChatGPT были доступны через API, но Сэм сказал, что не думает, что они будут выпущены в ближайшее время. Помимо плагина Brosing, использование других плагинов показывает, что PMF (Product/Market Fit) отсутствует. Он отметил, что многие люди думают, что хотят, чтобы их приложение было внутри ChatGPT, но на самом деле они хотят, чтобы ChatGPT был внутри приложения.
04. За исключением ChatGPT, OpenAI не будет конкурировать со своими клиентами
У великих компаний есть убойное приложение
Многие разработчики сказали, что они нервничают по поводу разработки с помощью API OpenAI, потому что OpenAI может в конечном итоге выпустить продукты, которые будут конкурировать с ними. Сэм сказал, что OpenAI больше не будет выпускать продукты за пределами ChatGPT. По его словам, исторически сложилось так, что у великих платформенных компаний были убийственные приложения. ChatGPT позволит разработчикам стать клиентами собственных продуктов для улучшения API. Видение ChatGPT состоит в том, чтобы стать сверхинтеллектуальным помощником по работе, но есть много других вариантов использования GPT, в которых OpenAI не будет участвовать.
05. Регулирование нужно, но не сейчас
«Я скептически отношусь к тому, сколько людей и компаний способны держать большие модели»
Хотя Сэм призвал к регулированию будущих моделей, он не считает существующие модели опасными и что их регулирование или запрет было бы большой ошибкой. Он подтвердил важность открытого исходного кода и сказал, что OpenAI рассматривает возможность сделать GPT-3 открытым исходным кодом. Они еще не были открыты, отчасти потому, что он скептически относится к тому, сколько людей и компаний могут хранить и обслуживать большие языковые модели (LLM).
06. Законы масштаба все еще действуют
Скорость расширения в миллионы раз за несколько лет не может продолжаться вечно.
В последнее время появилось много статей о том, что «эпоха гигантских моделей ИИ закончилась». Это не точно. (Примечание: на мероприятии в Массачусетском технологическом институте в апреле Сэм Альтман сказал: «Сейчас мы приближаемся к концу эры гигантских моделей».)
Внутренние данные OpenAI показывают, что законы масштабирования производительности модели все еще применяются, и увеличение размера модели будет продолжать улучшать производительность.
Поскольку OpenAI увеличил модели в миллионы раз всего за несколько лет, такая скорость масштабирования не может поддерживаться. Это не означает, что OpenAI не будет продолжать попытки сделать модели больше, но это означает, что они, скорее всего, удваиваются или утраиваются в размерах каждый год, а не на много порядков.
Тот факт, что действуют законы масштаба, имеет важные последствия для графика разработки ОИИ. Предположение закона масштаба состоит в том, что у нас, вероятно, уже есть большинство ингредиентов, необходимых для создания ОИИ, и что остальная работа в основном заключается в масштабировании существующих методов для более крупных моделей и более крупных наборов данных. Если эпоха масштабов закончилась, мы можем быть еще дальше от ОИИ. Тот факт, что законы размера продолжают действовать, подразумевает более короткие сроки.