Людську цивілізацію можна розглядати як сукупність записів відбитків усього людського життя. Отже, якщо існує супермозок, який вивчає всі знання, записані людьми, чи може він допомогти нам створити більш блискучу та багату цивілізацію?
У грудні 2022 року AIGC, який увійшов до десятки найкращих проривів у науці за версією журналу «Science», втілить цю мрію в реальність. Повна назва AIGC — AI-Generated Content, тобто генеративний ШІ, який використовує технологію штучного інтелекту для автоматичного створення контенту. Для AIGC 2022 рік вважається роком неймовірного зростання. **Можна сказати, що AIGC є найпопулярнішим і сповненим фантазії напрямом розробки у сфері штучного інтелекту на сьогоднішній день. Розробка AIGC породила вибухові програми, такі як помічники при написанні, малювання штучним інтелектом, діалогові роботи, цифрові люди та офіс. програмні помічники, які формуються шляхом взаємодії людини з комп’ютером нові парадигми запису, навчання та відтворення. **Тоді виникає переконливе запитання: як AIGC підштовхне нову хвилю штучного інтелекту?
Записуйте, вивчайте та відтворюйте
Герої не обов’язково починаються з низу. Історія OpenAI починається з групи підприємців-початківців, які сповнені страху щодо майбутнього штучного інтелекту. Серія GPT схожа на супермозок, який культивують різноманітні канали, ретельно підготовлені OpenAI.
Модель GPT-2, яка була створена майже через три з половиною роки після створення, є першою справді репрезентативною роботою OpenAI. GPT-2 містить 1,5 мільярда параметрів, отримує 8 мільйонів повідомлень на форумі Reddit і загалом 40 ГБ тексту, демонструючи можливість продовжувати писати текст. Наприклад, якщо ви введете речення у «Володар перснів», воно згенерує продовження, яке унеможливлює розрізнення правди від брехні, а сюжет відрізняється від оригіналу, але здається логічним.
OpenAI жахливо хотів знати, які можливості мав би цей супермозок, якби він міг з’їсти більше корпусу, тому народився GPT-3 зі 175 мільярдами параметрів. Лише навчання GPT-3 коштує десятки мільйонів доларів. Експерти передають моделі сотні мільярдів англійських слів, включаючи новини, повідомлення, повні тексти книг і різні веб-сторінки, зібрані з 60 мільйонів доменних імен за останні 12 років. . Цього разу GPT-3 не тільки має потужнішу здатність генерувати мову, але також має чудову здатність вивчати контекст і багато знань про світ.Він вміє писати вірші, писати новини, відповідати на запитання та писати код. Останній GPT-4 має потужніші можливості обробки та розуміння даних. Він може отримувати та генерувати текст із 25 000 слів, що у 8 разів більше, ніж у попереднього ChatGPT.
Крім того, його здатність до логічного мислення та здатність до розуміння зображень також значно підскочила. OpenAI є, мабуть, найстійкішим практиком парадигми ШІ-запису, навчання та відтворення. Відповідно до припущень Единбурзького університету та Інституту штучного інтелекту Аллена, від GPT-3 до GPT-3.5 до GPT-4, OpenAI ітерував кілька версій внутрішньо. **ChatGPT виконує точне налаштування інструкцій на основі навчання з підкріпленням зворотного зв’язку людини та покращує чотири можливості детальної відповіді, чесної відповіді, відхилення недоречних запитань і відхилення питань, що виходять за рамки його знань, значно зменшуючи здатність контекстного навчання. **
AIGC на шляху
На додаток до технології генерації мови, представленої ChatGPT, AIGC також включає генерацію зображень, відео, аудіо тощо. Довгий процес розробки AIGC, згідно з «Білою книгою AIGC», виданою Китайською академією інформаційно-комунікаційних технологій, можна приблизно розділити на такі три етапи:
**Рання ембріональна стадія (1950-1990-ті): **Обмежена рівнем технологій, AIGC обмежується невеликими експериментами, а створений вміст не дуже реалістичний. У 1957 році Леджарен Гіллер і Леонард Айзексон завершили першу в історії створену комп’ютером музичну композицію, змінивши керуючі змінні в комп’ютерній програмі на музичні ноти — Струнний квартет «Ільяк-сюїта». У 1966 році Джозеф Вейзенбаум (Joseph Weizenbaum) і Кеннет Колбі (Kenneth Colby) спільно розробили першого в світі робота «Еліза» (Eliza), який використовує сканування ключових слів і рекомбінацію для виконання інтерактивних місій. У середині 1980-х IBM створила друкарську машинку з голосовим керуванням «Тангора» на основі моделі прихованого ланцюга Маркова, яка була здатна обробляти 20 000 слів. На цьому етапі AIGC створюється лише шляхом вивчення правил, написаних експертами, і його здатність до узагальнення надзвичайно обмежена, як і маріонетки, яку грають експерти.
**Етап накопичення осаду (1990-ті-2010-ті роки): **AIGC поступово змінився від експериментального до практичного. Значні прориви були зроблені в алгоритмах глибокого навчання, графічних процесорах (GPU), тензорних процесорах (TPU) і шкалі навчальних даних. У 2007 році система штучного інтелекту, зібрана дослідником штучного інтелекту Нью-Йоркського університету Россом Гудвіном (Ross Goodwin), створила перше в світі повністю створене штучний інтелект, записавши і сприйнявши те, що він побачив і почув під час подорожі.Фантастика - 1 Дорога . У 2012 році Microsoft публічно продемонструвала повністю автоматичну систему синхронного перекладу. Через глибоку нейронну мережу (DNN) вміст англомовних може автоматично генеруватися в китайську мову за допомогою розпізнавання мовлення, мовного перекладу, синтезу мовлення та інших технологій. На цьому етапі AIGC почав автоматично вивчати невелику кількість даних, записаних людьми, і оволодів певною здатністю узагальнення, але обмежений вузьким місцем алгоритму, ефект генерації потрібно покращити. У цей час AIGC схожий на папугу, який вміє наслідувати, який начебто порядний, але нічого не знає.
**Етап швидкого розвитку (з 2010-х років до сьогодні):**З 2014 року, із запровадженням генеративних алгоритмів глибокого навчання та швидким розширенням масштабу навчальних даних, вплив контенту, створеного AIGC, поступово став настільки реалістичним, що важко людей розрізняти. У 2017 році дівчина зі штучним інтелектом Microsoft «Xiaobing» випустила першу в світі поетичну збірку «Sunshine Lost the Glass Window», повністю створену штучним інтелектом. У 2018 році модель StyleGAN, випущена Nvidia, може автоматично генерувати зображення, і людське око навряд чи зможе розрізнити зображення високої роздільної здатності, створені нею. У 2021 році OpenAI запустив DALL-E, а через рік випустив оновлену версію DALL-E-2. Користувачам потрібно лише ввести короткий описовий текст, і DALL-E-2 зможе створювати відповідні надзвичайно якісні мультики, реалістичні, абстрактні та інші стилі живопису. У липні 2022 року було випущено інструмент для малювання зі штучним інтелектом із відкритим кодом Stable Diffusion, що дозволяє звичайним людям створювати роботи рівня професійного художника. У серпні того ж року художня робота під назвою «Space Opera House» отримала першу премію на ярмарку штату Колорадо в Сполучених Штатах, створена AI. Такі моделі, як Make-A-Video, Imagen Video та Phenaki, випущені пізніше, можуть створювати відео з текстовими описами. ** 30 листопада 2022 року OpenAI випустив чат-робота ChatGPT. Наразі ера AIGC повністю розпочалася, а створюваний контент процвітає. **
Паливо даних
Після майже 70 років технологічного розвитку AIGC став важливою формою індустрії штучного інтелекту. У 2022 році дослідники з Google опублікували статтю під назвою «Нові можливості великих мовних моделей» і виявили, що коли мовна модель занадто велика, щоб перевищити певне критичне значення, з’являться можливості, яких не мають менші моделі. **В останні роки видатні досягнення технологій великомасштабних моделей, представлених GPT-4 і ChatGPT, показали, що збільшення масштабу моделей і даних є ефективним способом подолання вузьких місць існуючих технологій.
Моделі штучного інтелекту стають більшими за розміром, по суті, щоб вмістити більше даних, але високоякісні дані, записані людьми, можуть бути вичерпані в найближчому майбутньому. Epoch, організація з дослідження та прогнозування штучного інтелекту, передбачила в нерецензованій статті, що високоякісні текстові дані, низькоякісні текстові дані та дані зображень будуть штучно оброблені в 2023-2027, 2030-2050 і 2030 роках. -2070 відповідно Інтелект вичерпано.
У той час синтез даних на основі AIGC стане новим паливом для штучного інтелекту. Зараз дані, створені штучним інтелектом, становлять менше 1% усіх даних.**За прогнозом консалтингової компанії Gartner (Гартнер), до 2025 року дані, створені штучним інтелектом, становитимуть 10% усіх даних. даних. ** Таким чином, створення повної промислової екології AIGC якнайшвидше, дозволяючи користувачам активно взаємодіяти з AIGC для генерування даних, тим самим формуючи маховик даних, продовжуватиме сприяти розвитку технології штучного інтелекту.
Дивлячись у майбутнє, AIGC для науки може стати глибоководною зоною та новим головним полем битви для застосування технології штучного інтелекту, тобто «штучний інтелект відкриває майбутнє наукових досліджень». **У минулому дивіденди даних Інтернет-компаній були вичерпані, але в науковій сфері накопичено велику кількість експериментальних даних. Після введення 280 мільйонів амінокислотних послідовностей нова компанія в Берклі, Каліфорнія, дозволила моделі вивчити мову білків, вперше здійснивши синтез нових білків з нуля. Інновації, які AIGC привносить у науку, у розпалі. **Передбачається, що до 2025 року більше 30% ліків і матеріалів буде виявлено за допомогою AIGC. **
У майбутньому люди будуть пов’язані з AIGC, щоб сформувати симбіоз створення контенту та відкриття знань, але всі глибинні речі людських істот не будуть змінені ШІ. Генеральний директор OpenAI Сем Альтман (Sam Altman) одного разу уявив: **Як люди, ми все ще звертаємо увагу на взаємодію між людьми, механізм винагороди людського мозку не змінився, ми все ще шукаємо щастя і маємо бажання творити І прагнення до конкуренції, бажання створити сім’ю... Те, що хвилювало людей 50 000 років тому, буде хвилювати людей через сто років. **
Сем Альтман також сказав, що популярність ChatGPT змушує всіх відчувати, що AGI (загальний штучний інтелект) здається ближчим до нас, але насправді велика мовна модель, подібна до ChatGPT, ще дуже далека від AGI, і ми все ще маємо довгий шлях у майбутньому шлях. Між змінами та інваріантністю настала хвиля, розпочата AIGC.
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
AIGC, настала хвиля створення контенту
Оригінал: Fudan Business Knowledge
Людську цивілізацію можна розглядати як сукупність записів відбитків усього людського життя. Отже, якщо існує супермозок, який вивчає всі знання, записані людьми, чи може він допомогти нам створити більш блискучу та багату цивілізацію?
У грудні 2022 року AIGC, який увійшов до десятки найкращих проривів у науці за версією журналу «Science», втілить цю мрію в реальність. Повна назва AIGC — AI-Generated Content, тобто генеративний ШІ, який використовує технологію штучного інтелекту для автоматичного створення контенту. Для AIGC 2022 рік вважається роком неймовірного зростання. **Можна сказати, що AIGC є найпопулярнішим і сповненим фантазії напрямом розробки у сфері штучного інтелекту на сьогоднішній день. Розробка AIGC породила вибухові програми, такі як помічники при написанні, малювання штучним інтелектом, діалогові роботи, цифрові люди та офіс. програмні помічники, які формуються шляхом взаємодії людини з комп’ютером нові парадигми запису, навчання та відтворення. **Тоді виникає переконливе запитання: як AIGC підштовхне нову хвилю штучного інтелекту?
Записуйте, вивчайте та відтворюйте
Герої не обов’язково починаються з низу. Історія OpenAI починається з групи підприємців-початківців, які сповнені страху щодо майбутнього штучного інтелекту. Серія GPT схожа на супермозок, який культивують різноманітні канали, ретельно підготовлені OpenAI.
Модель GPT-2, яка була створена майже через три з половиною роки після створення, є першою справді репрезентативною роботою OpenAI. GPT-2 містить 1,5 мільярда параметрів, отримує 8 мільйонів повідомлень на форумі Reddit і загалом 40 ГБ тексту, демонструючи можливість продовжувати писати текст. Наприклад, якщо ви введете речення у «Володар перснів», воно згенерує продовження, яке унеможливлює розрізнення правди від брехні, а сюжет відрізняється від оригіналу, але здається логічним.
OpenAI жахливо хотів знати, які можливості мав би цей супермозок, якби він міг з’їсти більше корпусу, тому народився GPT-3 зі 175 мільярдами параметрів. Лише навчання GPT-3 коштує десятки мільйонів доларів. Експерти передають моделі сотні мільярдів англійських слів, включаючи новини, повідомлення, повні тексти книг і різні веб-сторінки, зібрані з 60 мільйонів доменних імен за останні 12 років. . Цього разу GPT-3 не тільки має потужнішу здатність генерувати мову, але також має чудову здатність вивчати контекст і багато знань про світ.Він вміє писати вірші, писати новини, відповідати на запитання та писати код. Останній GPT-4 має потужніші можливості обробки та розуміння даних. Він може отримувати та генерувати текст із 25 000 слів, що у 8 разів більше, ніж у попереднього ChatGPT.
Крім того, його здатність до логічного мислення та здатність до розуміння зображень також значно підскочила. OpenAI є, мабуть, найстійкішим практиком парадигми ШІ-запису, навчання та відтворення. Відповідно до припущень Единбурзького університету та Інституту штучного інтелекту Аллена, від GPT-3 до GPT-3.5 до GPT-4, OpenAI ітерував кілька версій внутрішньо. **ChatGPT виконує точне налаштування інструкцій на основі навчання з підкріпленням зворотного зв’язку людини та покращує чотири можливості детальної відповіді, чесної відповіді, відхилення недоречних запитань і відхилення питань, що виходять за рамки його знань, значно зменшуючи здатність контекстного навчання. **
AIGC на шляху
На додаток до технології генерації мови, представленої ChatGPT, AIGC також включає генерацію зображень, відео, аудіо тощо. Довгий процес розробки AIGC, згідно з «Білою книгою AIGC», виданою Китайською академією інформаційно-комунікаційних технологій, можна приблизно розділити на такі три етапи:
**Рання ембріональна стадія (1950-1990-ті): **Обмежена рівнем технологій, AIGC обмежується невеликими експериментами, а створений вміст не дуже реалістичний. У 1957 році Леджарен Гіллер і Леонард Айзексон завершили першу в історії створену комп’ютером музичну композицію, змінивши керуючі змінні в комп’ютерній програмі на музичні ноти — Струнний квартет «Ільяк-сюїта». У 1966 році Джозеф Вейзенбаум (Joseph Weizenbaum) і Кеннет Колбі (Kenneth Colby) спільно розробили першого в світі робота «Еліза» (Eliza), який використовує сканування ключових слів і рекомбінацію для виконання інтерактивних місій. У середині 1980-х IBM створила друкарську машинку з голосовим керуванням «Тангора» на основі моделі прихованого ланцюга Маркова, яка була здатна обробляти 20 000 слів. На цьому етапі AIGC створюється лише шляхом вивчення правил, написаних експертами, і його здатність до узагальнення надзвичайно обмежена, як і маріонетки, яку грають експерти.
**Етап накопичення осаду (1990-ті-2010-ті роки): **AIGC поступово змінився від експериментального до практичного. Значні прориви були зроблені в алгоритмах глибокого навчання, графічних процесорах (GPU), тензорних процесорах (TPU) і шкалі навчальних даних. У 2007 році система штучного інтелекту, зібрана дослідником штучного інтелекту Нью-Йоркського університету Россом Гудвіном (Ross Goodwin), створила перше в світі повністю створене штучний інтелект, записавши і сприйнявши те, що він побачив і почув під час подорожі.Фантастика - 1 Дорога . У 2012 році Microsoft публічно продемонструвала повністю автоматичну систему синхронного перекладу. Через глибоку нейронну мережу (DNN) вміст англомовних може автоматично генеруватися в китайську мову за допомогою розпізнавання мовлення, мовного перекладу, синтезу мовлення та інших технологій. На цьому етапі AIGC почав автоматично вивчати невелику кількість даних, записаних людьми, і оволодів певною здатністю узагальнення, але обмежений вузьким місцем алгоритму, ефект генерації потрібно покращити. У цей час AIGC схожий на папугу, який вміє наслідувати, який начебто порядний, але нічого не знає.
**Етап швидкого розвитку (з 2010-х років до сьогодні):**З 2014 року, із запровадженням генеративних алгоритмів глибокого навчання та швидким розширенням масштабу навчальних даних, вплив контенту, створеного AIGC, поступово став настільки реалістичним, що важко людей розрізняти. У 2017 році дівчина зі штучним інтелектом Microsoft «Xiaobing» випустила першу в світі поетичну збірку «Sunshine Lost the Glass Window», повністю створену штучним інтелектом. У 2018 році модель StyleGAN, випущена Nvidia, може автоматично генерувати зображення, і людське око навряд чи зможе розрізнити зображення високої роздільної здатності, створені нею. У 2021 році OpenAI запустив DALL-E, а через рік випустив оновлену версію DALL-E-2. Користувачам потрібно лише ввести короткий описовий текст, і DALL-E-2 зможе створювати відповідні надзвичайно якісні мультики, реалістичні, абстрактні та інші стилі живопису. У липні 2022 року було випущено інструмент для малювання зі штучним інтелектом із відкритим кодом Stable Diffusion, що дозволяє звичайним людям створювати роботи рівня професійного художника. У серпні того ж року художня робота під назвою «Space Opera House» отримала першу премію на ярмарку штату Колорадо в Сполучених Штатах, створена AI. Такі моделі, як Make-A-Video, Imagen Video та Phenaki, випущені пізніше, можуть створювати відео з текстовими описами. ** 30 листопада 2022 року OpenAI випустив чат-робота ChatGPT. Наразі ера AIGC повністю розпочалася, а створюваний контент процвітає. **
Паливо даних
Після майже 70 років технологічного розвитку AIGC став важливою формою індустрії штучного інтелекту. У 2022 році дослідники з Google опублікували статтю під назвою «Нові можливості великих мовних моделей» і виявили, що коли мовна модель занадто велика, щоб перевищити певне критичне значення, з’являться можливості, яких не мають менші моделі. **В останні роки видатні досягнення технологій великомасштабних моделей, представлених GPT-4 і ChatGPT, показали, що збільшення масштабу моделей і даних є ефективним способом подолання вузьких місць існуючих технологій.
Моделі штучного інтелекту стають більшими за розміром, по суті, щоб вмістити більше даних, але високоякісні дані, записані людьми, можуть бути вичерпані в найближчому майбутньому. Epoch, організація з дослідження та прогнозування штучного інтелекту, передбачила в нерецензованій статті, що високоякісні текстові дані, низькоякісні текстові дані та дані зображень будуть штучно оброблені в 2023-2027, 2030-2050 і 2030 роках. -2070 відповідно Інтелект вичерпано.
У той час синтез даних на основі AIGC стане новим паливом для штучного інтелекту. Зараз дані, створені штучним інтелектом, становлять менше 1% усіх даних.**За прогнозом консалтингової компанії Gartner (Гартнер), до 2025 року дані, створені штучним інтелектом, становитимуть 10% усіх даних. даних. ** Таким чином, створення повної промислової екології AIGC якнайшвидше, дозволяючи користувачам активно взаємодіяти з AIGC для генерування даних, тим самим формуючи маховик даних, продовжуватиме сприяти розвитку технології штучного інтелекту.
Дивлячись у майбутнє, AIGC для науки може стати глибоководною зоною та новим головним полем битви для застосування технології штучного інтелекту, тобто «штучний інтелект відкриває майбутнє наукових досліджень». **У минулому дивіденди даних Інтернет-компаній були вичерпані, але в науковій сфері накопичено велику кількість експериментальних даних. Після введення 280 мільйонів амінокислотних послідовностей нова компанія в Берклі, Каліфорнія, дозволила моделі вивчити мову білків, вперше здійснивши синтез нових білків з нуля. Інновації, які AIGC привносить у науку, у розпалі. **Передбачається, що до 2025 року більше 30% ліків і матеріалів буде виявлено за допомогою AIGC. **
У майбутньому люди будуть пов’язані з AIGC, щоб сформувати симбіоз створення контенту та відкриття знань, але всі глибинні речі людських істот не будуть змінені ШІ. Генеральний директор OpenAI Сем Альтман (Sam Altman) одного разу уявив: **Як люди, ми все ще звертаємо увагу на взаємодію між людьми, механізм винагороди людського мозку не змінився, ми все ще шукаємо щастя і маємо бажання творити І прагнення до конкуренції, бажання створити сім’ю... Те, що хвилювало людей 50 000 років тому, буде хвилювати людей через сто років. **
Сем Альтман також сказав, що популярність ChatGPT змушує всіх відчувати, що AGI (загальний штучний інтелект) здається ближчим до нас, але насправді велика мовна модель, подібна до ChatGPT, ще дуже далека від AGI, і ми все ще маємо довгий шлях у майбутньому шлях. Між змінами та інваріантністю настала хвиля, розпочата AIGC.