У 5 разів більше, ніж ChatGPT! Intel офіційно анонсувала велику модель штучного інтелекту з 1 трильйоном параметрів, яку планується завершити у 2024 році
Побачивши, що ChatGPT продовжував вибухати протягом кількох місяців, протягом яких технологічні гіганти, такі як Microsoft, Google і Meta, входили в гру один за одним, тепер Intel нарешті офіційно оголосила про свій «конкурс».
Минулими вихідними на конференції високої продуктивності (HPC) Міжнародної конференції суперкомп’ютерів (ISC) у Гамбурзі, Німеччина, Intel не лише продемонструвала своє лідерство в робочих навантаженнях HPC та AI, але й оголосила про дивовижний план: Національна лабораторія Tribute об’єднала зусилля для розробки генеративна AI модель Aurora genAI з суперкомп’ютером Aurora, а кількість параметрів сягне 1 трильйона!
Майте на увазі, що розмір параметра ChatGPT становить лише 175 мільярдів, тобто модель genAI Aurora буде як мінімум у 5 разів більша за нього.
(фото з офіційного сайту Intel)
модель ШІ працюватиме на базі суперкомп’ютера Aurora
Відомо, що модель Intel Aurora genAI базуватиметься на двох фреймворках: Megatron від NVIDIA та DeepSpeed від Microsoft.
▶ Megatron: архітектура для розподіленого навчання великомасштабних мовних моделей, оптимізована спеціально для Transformer, не лише підтримує паралелізм даних у традиційному розподіленому навчанні, але також підтримує паралелізм моделей.
▶ DeepSpeed: зосереджено на оптимізації навчання великомасштабних моделей глибокого навчання. Покращуючи масштаб, швидкість, вартість і доступність, він дає змогу навчати 100 мільярдів моделей параметрів і значно сприяє навчанню великомасштабних моделей.
Окрім цих двох фреймворків, модель Aurora genAI також працюватиме на базі суперкомп’ютера Aurora — суперкомп’ютера, розробленого Intel для Аргонської національної лабораторії, який нарешті набув форми після різних затримок.
Відповідно до поточної відкритої інформації, суперкомп’ютер Aurora оснащений чіпами серій Intel Xeon CPU Max і Xeon GPU Max із загальною кількістю 10624 вузлів, 63744 графічних процесорів Ponte Vecchio, 21248 процесорів Sapphire Rapids Xeon і 1024 розподілених асинхронних сховищ об’єктів (DAOS). ) вузлів зберігання та 10,9 ПБ постійної пам’яті DDR5 Optane.
Крім того, Intel також оприлюднила ранні результати продуктивності суперкомп’ютера Aurora: «Суперкомп’ютер Aurora має найкращу продуктивність у наукових та інженерних навантаженнях, у 2 рази перевищує продуктивність графічного процесора AMD MI250 і покращив програми квантової механіки QMCPACK порівняно з H100». 20% і майже лінійне масштабування до сотень вузлів».
Варто зазначити, що, порівняно з початковою цільовою цільовою величиною в 1 екзафлопс, очікується, що коли суперкомп’ютер Aurora буде запущено цього року, він забезпечить продуктивність обчислень із плаваючою комою подвійної точності понад 2 екзафлопси — більше, ніж Frontier, який неодноразово займав перше місце у світовому списку суперкомп’ютерів Top 500. Суперкомп’ютери (1194 Exaflop/s) – ще вище.
Науково-орієнтована генеративна модель ШІ
З потужною суперкомп’ютерною основою Aurora судилося, що масштаб моделі Aurora genAI буде не малим. Згідно з офіційною заявою Intel, Аргонська національна лабораторія очолює міжнародну співпрацю для моделі Aurora genAI.
«Цей проект має на меті використовувати весь потенціал суперкомп’ютера «Аврора» для створення ресурсу, який можна буде використовувати в подальшій науці в лабораторіях DOE та у співпраці з іншими агентствами», — сказав Рік Стівенс, заступник директора лабораторії Аргонна.
Загалом Aurora genAI — це науково-орієнтована генеративна модель штучного інтелекту, тому її навчатимуть на загальному тексті, коді, науковому тексті та наукових даних із біології, хімії, матеріалознавства, фізики, медицини тощо.
Отримані моделі штучного інтелекту з до 1 трильйона параметрів, починаючи від дизайну молекул і матеріалів і закінчуючи об’єднаними знаннями мільйонів джерел, можна використовувати в різноманітних наукових програмах: системна біологія, дослідження раку, кліматологія, космологічні дослідження , полімерна хімія та матеріали та ін. Окрім науки, моделі Aurora genAI потенційно можуть бути використані в інших галузях, таких як фінансове моделювання, обробка природної мови, машинний переклад, розпізнавання зображень і розпізнавання мови тощо.
Планується до завершення у 2024 році
Крім того, додатковою інформацією про модель Aurora genAI Intel поки що не розповсюджується, але, згідно з повідомленнями зарубіжних ЗМІ, Intel планує розробити і завершити модель Aurora genAI в 2024 році - якщо все піде добре, можливо, ми не будемо довго чекати.
Оприлюднення цієї новини привернуло увагу багатьох людей, а вихід Intel на модель AI оголосив про початок 1 трильйона параметрів, що змушує людей з нетерпінням чекати майбутнього розвитку конкуруючих продуктів, таких як GPT-4:
▶ "Параметр трильйона має бути особливим обмеженням, але ви також можете бути скептичними і сказати, що це просто величезне ціле число, про яке потрібно піклуватися. Безсумнівно, якщо ця модель схожа на GPT-4, це додасть точку даних Але з огляду на те, що компанії оголошують те і те, мені цікаво, чи досягнемо ми піку в червні».
▶ «Люди створюють нові системи з H100, і вже є значно кращі графічні процесори зі штучним інтелектом, і якщо це триватиме й далі, NVIDIA, можливо, доведеться анонсувати нову карту раніше, щоб залишатися попереду».
▶ «Я припускаю, що GPT-4 не буде продовжувати підтримувати SOTA (стан технічного стану, відноситься до найкращого методу або моделі в конкретному завданні) у багатьох порівняльних тестах найближчим часом, і, можливо, він також буде у світі в майбутньому. найшвидший суперкомп’ютер для навчання. Для довідки, суперкомп’ютер OpenAI має близько 10 000 графічних процесорів, тоді як Aurora має 63 744 графічних процесора».
Посилання на посилання:
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
У 5 разів більше, ніж ChatGPT! Intel офіційно анонсувала велику модель штучного інтелекту з 1 трильйоном параметрів, яку планується завершити у 2024 році
Організація | Чжен Ліюань
Список | CSDN (ID: CSDNnews)
Побачивши, що ChatGPT продовжував вибухати протягом кількох місяців, протягом яких технологічні гіганти, такі як Microsoft, Google і Meta, входили в гру один за одним, тепер Intel нарешті офіційно оголосила про свій «конкурс».
Минулими вихідними на конференції високої продуктивності (HPC) Міжнародної конференції суперкомп’ютерів (ISC) у Гамбурзі, Німеччина, Intel не лише продемонструвала своє лідерство в робочих навантаженнях HPC та AI, але й оголосила про дивовижний план: Національна лабораторія Tribute об’єднала зусилля для розробки генеративна AI модель Aurora genAI з суперкомп’ютером Aurora, а кількість параметрів сягне 1 трильйона!
Майте на увазі, що розмір параметра ChatGPT становить лише 175 мільярдів, тобто модель genAI Aurora буде як мінімум у 5 разів більша за нього.
модель ШІ працюватиме на базі суперкомп’ютера Aurora
Відомо, що модель Intel Aurora genAI базуватиметься на двох фреймворках: Megatron від NVIDIA та DeepSpeed від Microsoft.
▶ Megatron: архітектура для розподіленого навчання великомасштабних мовних моделей, оптимізована спеціально для Transformer, не лише підтримує паралелізм даних у традиційному розподіленому навчанні, але також підтримує паралелізм моделей.
▶ DeepSpeed: зосереджено на оптимізації навчання великомасштабних моделей глибокого навчання. Покращуючи масштаб, швидкість, вартість і доступність, він дає змогу навчати 100 мільярдів моделей параметрів і значно сприяє навчанню великомасштабних моделей.
Окрім цих двох фреймворків, модель Aurora genAI також працюватиме на базі суперкомп’ютера Aurora — суперкомп’ютера, розробленого Intel для Аргонської національної лабораторії, який нарешті набув форми після різних затримок.
Відповідно до поточної відкритої інформації, суперкомп’ютер Aurora оснащений чіпами серій Intel Xeon CPU Max і Xeon GPU Max із загальною кількістю 10624 вузлів, 63744 графічних процесорів Ponte Vecchio, 21248 процесорів Sapphire Rapids Xeon і 1024 розподілених асинхронних сховищ об’єктів (DAOS). ) вузлів зберігання та 10,9 ПБ постійної пам’яті DDR5 Optane.
Варто зазначити, що, порівняно з початковою цільовою цільовою величиною в 1 екзафлопс, очікується, що коли суперкомп’ютер Aurora буде запущено цього року, він забезпечить продуктивність обчислень із плаваючою комою подвійної точності понад 2 екзафлопси — більше, ніж Frontier, який неодноразово займав перше місце у світовому списку суперкомп’ютерів Top 500. Суперкомп’ютери (1194 Exaflop/s) – ще вище.
Науково-орієнтована генеративна модель ШІ
З потужною суперкомп’ютерною основою Aurora судилося, що масштаб моделі Aurora genAI буде не малим. Згідно з офіційною заявою Intel, Аргонська національна лабораторія очолює міжнародну співпрацю для моделі Aurora genAI.
«Цей проект має на меті використовувати весь потенціал суперкомп’ютера «Аврора» для створення ресурсу, який можна буде використовувати в подальшій науці в лабораторіях DOE та у співпраці з іншими агентствами», — сказав Рік Стівенс, заступник директора лабораторії Аргонна.
Загалом Aurora genAI — це науково-орієнтована генеративна модель штучного інтелекту, тому її навчатимуть на загальному тексті, коді, науковому тексті та наукових даних із біології, хімії, матеріалознавства, фізики, медицини тощо.
Отримані моделі штучного інтелекту з до 1 трильйона параметрів, починаючи від дизайну молекул і матеріалів і закінчуючи об’єднаними знаннями мільйонів джерел, можна використовувати в різноманітних наукових програмах: системна біологія, дослідження раку, кліматологія, космологічні дослідження , полімерна хімія та матеріали та ін. Окрім науки, моделі Aurora genAI потенційно можуть бути використані в інших галузях, таких як фінансове моделювання, обробка природної мови, машинний переклад, розпізнавання зображень і розпізнавання мови тощо.
Планується до завершення у 2024 році
Крім того, додатковою інформацією про модель Aurora genAI Intel поки що не розповсюджується, але, згідно з повідомленнями зарубіжних ЗМІ, Intel планує розробити і завершити модель Aurora genAI в 2024 році - якщо все піде добре, можливо, ми не будемо довго чекати.
Оприлюднення цієї новини привернуло увагу багатьох людей, а вихід Intel на модель AI оголосив про початок 1 трильйона параметрів, що змушує людей з нетерпінням чекати майбутнього розвитку конкуруючих продуктів, таких як GPT-4:
▶ "Параметр трильйона має бути особливим обмеженням, але ви також можете бути скептичними і сказати, що це просто величезне ціле число, про яке потрібно піклуватися. Безсумнівно, якщо ця модель схожа на GPT-4, це додасть точку даних Але з огляду на те, що компанії оголошують те і те, мені цікаво, чи досягнемо ми піку в червні».
▶ «Люди створюють нові системи з H100, і вже є значно кращі графічні процесори зі штучним інтелектом, і якщо це триватиме й далі, NVIDIA, можливо, доведеться анонсувати нову карту раніше, щоб залишатися попереду».
▶ «Я припускаю, що GPT-4 не буде продовжувати підтримувати SOTA (стан технічного стану, відноситься до найкращого методу або моделі в конкретному завданні) у багатьох порівняльних тестах найближчим часом, і, можливо, він також буде у світі в майбутньому. найшвидший суперкомп’ютер для навчання. Для довідки, суперкомп’ютер OpenAI має близько 10 000 графічних процесорів, тоді як Aurora має 63 744 графічних процесора».
Посилання на посилання: