A civilização humana pode ser pensada como a soma total dos registros das impressões de toda a vida humana. Então, se existe um supercérebro que aprende todo o conhecimento registrado pelos seres humanos, ele pode nos ajudar a criar uma civilização mais brilhante e rica?
Em dezembro de 2022, o AIGC, que foi selecionado como um dos dez principais avanços da ciência pela revista "Science", tornará esse sonho realidade. O nome completo do AIGC é AI-Generated Content, ou seja, IA generativa, que usa tecnologia de inteligência artificial para produzir conteúdo automaticamente. Para o AIGC, 2022 é considerado um ano de crescimento incrível. **AIGC pode ser considerado a direção de desenvolvimento mais popular e cheia de fantasia no campo da AI hoje. O desenvolvimento do AIGC deu origem a aplicações explosivas, como assistentes de escrita, pintura de AI, robôs de diálogo, humanos digitais e escritório assistentes de software, que são formados através da interação humano-computador, novos paradigmas de gravação, aprendizagem e recriação. ** Surge então uma pergunta convincente: como o AIGC impulsionará a nova onda de inteligência artificial?
Grave, aprenda e recrie
Os heróis não começam necessariamente de baixo. A história da OpenAI começa com um grupo de empreendedores iniciantes que temem o futuro da inteligência artificial. A série GPT é como um supercérebro cultivado por vários feeds cuidadosamente preparados pela OpenAI.
O modelo GPT-2, criado quase três anos e meio após sua criação, é o primeiro trabalho verdadeiramente representativo da OpenAI. O GPT-2 contém 1,5 bilhão de parâmetros, feeds de 8 milhões de postagens no fórum do Reddit e um total de 40 GB de texto, mostrando a capacidade de continuar escrevendo texto. Por exemplo, se você inserir uma frase em "O Senhor dos Anéis", ela gerará uma continuação que impossibilita a distinção entre verdadeiro e falso, e o enredo é diferente do original, mas parece lógico.
A OpenAI queria saber freneticamente que tipo de capacidade esse supercérebro teria se pudesse comer mais corpus, então nasceu o GPT-3 com 175 bilhões de parâmetros. Só o treinamento GPT-3 custa dezenas de milhões de dólares. Os especialistas alimentam o modelo com centenas de bilhões de palavras em inglês, incluindo notícias, postagens, livros de texto completo e várias páginas da web coletadas de 60 milhões de nomes de domínio nos últimos 12 anos. . Desta vez, o GPT-3 não apenas possui uma capacidade de geração de linguagem mais poderosa, mas também possui excelente capacidade de aprendizado de contexto e muito conhecimento do mundo. É proficiente em escrever poesia, escrever reportagens, responder perguntas e escrever códigos. O mais recente GPT-4 possui recursos de processamento e compreensão de dados mais fortes, podendo receber e gerar texto de 25.000 palavras, 8 vezes mais do que o ChatGPT anterior.
Além disso, sua capacidade de raciocínio lógico e capacidade de compreensão de imagens também deram grandes saltos. OpenAI é talvez o praticante mais firme do paradigma de gravação, aprendizado e recriação de IA. De acordo com a especulação da Universidade de Edimburgo e do Instituto Allen de Inteligência Artificial, de GPT-3 a GPT-3.5 a GPT-4, o OpenAI iterou várias versões internamente. **O ChatGPT realiza o ajuste fino da instrução com base no aprendizado de reforço de feedback humano e melhora as quatro habilidades de resposta detalhada, resposta justa, rejeição de perguntas inadequadas e rejeição de perguntas além de seu escopo de conhecimento, reduzindo bastante a capacidade de aprendizado de contexto. **
AIGC ao longo do caminho
Além da tecnologia de geração de linguagem representada pelo ChatGPT, AIGC também inclui geração de imagem, geração de vídeo, geração de áudio, etc. O longo processo de desenvolvimento do AIGC, de acordo com o "Artigo Branco do AIGC" publicado pela Academia Chinesa de Tecnologia da Informação e Comunicações, pode ser dividido aproximadamente nas três etapas a seguir:
**Estágio embrionário inicial (décadas de 1950-1990): **Limitado pelo nível de tecnologia, o AIGC é limitado a experimentos de pequena escala e o conteúdo gerado não é muito realista. Em 1957, Lejaren Hiller e Leonard Isaacson completaram a primeira composição musical gerada por computador na história, alterando as variáveis de controle no programa de computador em notas musicais— - Quarteto de Cordas "Ilyac Suite". Em 1966, Joseph Weizenbaum (Joseph Weizenbaum) e Kenneth Colby (Kenneth Colby) desenvolveram em conjunto o primeiro robô do mundo "Eliza" (Eliza), que usa digitalização de palavras-chave e recombinação para completar missões interativas. Em meados da década de 1980, a IBM criou a máquina de escrever controlada por voz "Tangora" baseada no modelo oculto da cadeia de Markov, que era capaz de processar 20.000 palavras. Nesse estágio, o AIGC é gerado apenas pelo aprendizado das regras escritas por especialistas, e sua capacidade de generalização é extremamente limitada, assim como uma marionete jogada por especialistas.
**Estágio de acumulação de sedimentos (décadas de 1990-2010): **AIGC mudou gradualmente de experimental para prático. Grandes avanços foram feitos em algoritmos de aprendizado profundo, unidades de processamento gráfico (GPUs), processadores tensores (TPUs) e escala de dados de treinamento. Em 2007, o sistema de inteligência artificial montado pelo pesquisador de inteligência artificial da Universidade de Nova York Ross Goodwin (Ross Goodwin) escreveu a primeira criação de inteligência totalmente artificial do mundo, registrando e percebendo o que viu e ouviu durante a viagem. Ficção - 1 The Road . Em 2012, a Microsoft demonstrou publicamente um sistema de interpretação simultânea totalmente automático.Através da rede neural profunda (DNN), o conteúdo de falantes de inglês pode ser gerado automaticamente para fala chinesa por meio de reconhecimento de fala, tradução de idiomas, síntese de fala e outras tecnologias. Nesta fase, o AIGC começou a aprender automaticamente uma pequena quantidade de dados registrados por humanos e dominou uma certa capacidade de generalização, mas limitado pelo gargalo do algoritmo, o efeito de geração precisa ser aprimorado. Neste momento, o AIGC é como um papagaio bom em imitar, que parece ser decente, mas não sabe nada.
**Estágio de desenvolvimento rápido (2010 até o presente):**Desde 2014, com a introdução de algoritmos generativos de aprendizado profundo e a rápida expansão da escala de dados de treinamento, o efeito do conteúdo gerado por AIGC tornou-se gradualmente tão realista que é difícil para humanos para distinguir. Em 2017, a garota da inteligência artificial da Microsoft "Xiaobing" lançou a primeira coleção de poesia do mundo "Sunshine Lost the Glass Window" criada inteiramente por inteligência artificial. Em 2018, o modelo StyleGAN lançado pela Nvidia pode gerar imagens automaticamente, e as imagens de alta resolução geradas por ele dificilmente podem ser distinguidas pelo olho humano. Em 2021, a OpenAI lançou o DALL-E e lançou uma versão atualizada do DALL-E-2 um ano depois. Os usuários só precisam inserir um pequeno texto descritivo e o DALL-E-2 pode criar desenhos correspondentes de alta qualidade, realistas, abstratos e outros estilos de pintura. Em julho de 2022, a ferramenta de pintura AI de código aberto Stable Diffusion foi lançada, permitindo que pessoas comuns criem trabalhos profissionais em nível de pintor. Em agosto do mesmo ano, uma obra chamada "Space Opera House" ganhou o primeiro prêmio na Colorado State Fair, nos Estados Unidos, obra feita pela AI. Modelos como Make-A-Video, Imagen Video e Phenaki lançados posteriormente podem gerar vídeos com descrições de texto. ** Em 30 de novembro de 2022, a OpenAI lançou o robô de bate-papo ChatGPT. Até agora, a era do AIGC foi totalmente aberta e o conteúdo gerado está florescendo. **
Combustível de Dados
Após quase 70 anos de precipitação tecnológica, AIGC tornou-se uma forma importante da indústria de inteligência artificial. Em 2022, pesquisadores do Google publicaram um artigo intitulado "Capacidade emergente de modelos de linguagem grandes" e descobriram que, quando o modelo de linguagem é muito grande para exceder um determinado valor crítico, surgirão recursos que modelos menores não possuem. **Nos últimos anos, as conquistas notáveis das tecnologias de modelos de grande escala representadas por GPT-4 e ChatGPT mostraram que aumentar a escala de modelos e dados é uma maneira eficaz de superar o gargalo das tecnologias existentes.
Os modelos de IA estão ficando maiores, essencialmente para acomodar mais dados, mas os dados de alta qualidade registrados por humanos podem se esgotar em um futuro próximo. A Epoch, uma organização de pesquisa e previsão de inteligência artificial, previu em um artigo não revisado por pares que dados de texto de alta qualidade, dados de texto de baixa qualidade e dados de imagem serão processados artificialmente em 2023-2027, 2030-2050 e 2030 -2070, respectivamente. Inteligência drenada.
Naquela época, a síntese de dados baseada em AIGC se tornará um novo combustível para a inteligência artificial. Atualmente, os dados gerados por inteligência artificial representam menos de 1% de todos os dados.**Segundo previsão da consultoria Gartner (Gartner), até 2025, os dados gerados por inteligência artificial representarão 10% de todos dados. ** Portanto, estabelecer uma ecologia industrial AIGC completa o mais rápido possível, permitindo que os usuários interajam ativamente com AIGC para gerar dados, formando assim um volante de dados, continuará a promover o avanço da tecnologia de inteligência artificial.
Olhando para o futuro, AIGC para a ciência pode se tornar uma área de águas profundas e um novo campo de batalha principal para a aplicação da tecnologia de inteligência artificial, ou seja, "a inteligência artificial abre o futuro da pesquisa científica". **No passado, os dividendos de dados das empresas de Internet foram esgotados, mas uma grande quantidade de dados experimentais foi acumulada no campo científico. Depois de alimentar 280 milhões de sequências de aminoácidos, uma empresa iniciante em Berkeley, Califórnia, permitiu que o modelo aprendesse a linguagem das proteínas, realizando a síntese de novas proteínas do zero pela primeira vez. A inovação que o AIGC traz para a ciência está em pleno andamento. **Prevê-se que até 2025, mais de 30% dos medicamentos e materiais serão descobertos com a ajuda do AIGC. **
No futuro, os seres humanos estarão ligados ao AIGC para formar uma simbiose de criação de conteúdo e descoberta de conhecimento, mas todas as coisas profundas dos seres humanos não serão alteradas pela IA. O CEO da OpenAI, Sam Altman (Sam Altman), uma vez imaginou: **Como seres humanos, ainda prestamos atenção à interação entre as pessoas, o mecanismo de recompensa do cérebro humano não mudou, ainda buscamos a felicidade e temos o desejo de criar E o desejo de competição, o desejo de formar uma família... O que os humanos se importavam há 50.000 anos, os humanos se importarão cem anos depois. **
Sam Altman também disse que a popularidade do ChatGPT faz com que todos sintam que o AGI (General Artificial Intelligence) parece estar mais próximo de nós, mas, na verdade, um grande modelo de linguagem semelhante ao ChatGPT ainda está muito longe do AGI, e ainda temos um longo caminho a percorrer no futuro. Entre a mudança e a invariância, chegou a onda desencadeada pelo AIGC.
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
AIGC, a onda da geração de conteúdo chegou
Original: Fudan Business Knowledge
A civilização humana pode ser pensada como a soma total dos registros das impressões de toda a vida humana. Então, se existe um supercérebro que aprende todo o conhecimento registrado pelos seres humanos, ele pode nos ajudar a criar uma civilização mais brilhante e rica?
Em dezembro de 2022, o AIGC, que foi selecionado como um dos dez principais avanços da ciência pela revista "Science", tornará esse sonho realidade. O nome completo do AIGC é AI-Generated Content, ou seja, IA generativa, que usa tecnologia de inteligência artificial para produzir conteúdo automaticamente. Para o AIGC, 2022 é considerado um ano de crescimento incrível. **AIGC pode ser considerado a direção de desenvolvimento mais popular e cheia de fantasia no campo da AI hoje. O desenvolvimento do AIGC deu origem a aplicações explosivas, como assistentes de escrita, pintura de AI, robôs de diálogo, humanos digitais e escritório assistentes de software, que são formados através da interação humano-computador, novos paradigmas de gravação, aprendizagem e recriação. ** Surge então uma pergunta convincente: como o AIGC impulsionará a nova onda de inteligência artificial?
Grave, aprenda e recrie
Os heróis não começam necessariamente de baixo. A história da OpenAI começa com um grupo de empreendedores iniciantes que temem o futuro da inteligência artificial. A série GPT é como um supercérebro cultivado por vários feeds cuidadosamente preparados pela OpenAI.
O modelo GPT-2, criado quase três anos e meio após sua criação, é o primeiro trabalho verdadeiramente representativo da OpenAI. O GPT-2 contém 1,5 bilhão de parâmetros, feeds de 8 milhões de postagens no fórum do Reddit e um total de 40 GB de texto, mostrando a capacidade de continuar escrevendo texto. Por exemplo, se você inserir uma frase em "O Senhor dos Anéis", ela gerará uma continuação que impossibilita a distinção entre verdadeiro e falso, e o enredo é diferente do original, mas parece lógico.
A OpenAI queria saber freneticamente que tipo de capacidade esse supercérebro teria se pudesse comer mais corpus, então nasceu o GPT-3 com 175 bilhões de parâmetros. Só o treinamento GPT-3 custa dezenas de milhões de dólares. Os especialistas alimentam o modelo com centenas de bilhões de palavras em inglês, incluindo notícias, postagens, livros de texto completo e várias páginas da web coletadas de 60 milhões de nomes de domínio nos últimos 12 anos. . Desta vez, o GPT-3 não apenas possui uma capacidade de geração de linguagem mais poderosa, mas também possui excelente capacidade de aprendizado de contexto e muito conhecimento do mundo. É proficiente em escrever poesia, escrever reportagens, responder perguntas e escrever códigos. O mais recente GPT-4 possui recursos de processamento e compreensão de dados mais fortes, podendo receber e gerar texto de 25.000 palavras, 8 vezes mais do que o ChatGPT anterior.
Além disso, sua capacidade de raciocínio lógico e capacidade de compreensão de imagens também deram grandes saltos. OpenAI é talvez o praticante mais firme do paradigma de gravação, aprendizado e recriação de IA. De acordo com a especulação da Universidade de Edimburgo e do Instituto Allen de Inteligência Artificial, de GPT-3 a GPT-3.5 a GPT-4, o OpenAI iterou várias versões internamente. **O ChatGPT realiza o ajuste fino da instrução com base no aprendizado de reforço de feedback humano e melhora as quatro habilidades de resposta detalhada, resposta justa, rejeição de perguntas inadequadas e rejeição de perguntas além de seu escopo de conhecimento, reduzindo bastante a capacidade de aprendizado de contexto. **
AIGC ao longo do caminho
Além da tecnologia de geração de linguagem representada pelo ChatGPT, AIGC também inclui geração de imagem, geração de vídeo, geração de áudio, etc. O longo processo de desenvolvimento do AIGC, de acordo com o "Artigo Branco do AIGC" publicado pela Academia Chinesa de Tecnologia da Informação e Comunicações, pode ser dividido aproximadamente nas três etapas a seguir:
**Estágio embrionário inicial (décadas de 1950-1990): **Limitado pelo nível de tecnologia, o AIGC é limitado a experimentos de pequena escala e o conteúdo gerado não é muito realista. Em 1957, Lejaren Hiller e Leonard Isaacson completaram a primeira composição musical gerada por computador na história, alterando as variáveis de controle no programa de computador em notas musicais— - Quarteto de Cordas "Ilyac Suite". Em 1966, Joseph Weizenbaum (Joseph Weizenbaum) e Kenneth Colby (Kenneth Colby) desenvolveram em conjunto o primeiro robô do mundo "Eliza" (Eliza), que usa digitalização de palavras-chave e recombinação para completar missões interativas. Em meados da década de 1980, a IBM criou a máquina de escrever controlada por voz "Tangora" baseada no modelo oculto da cadeia de Markov, que era capaz de processar 20.000 palavras. Nesse estágio, o AIGC é gerado apenas pelo aprendizado das regras escritas por especialistas, e sua capacidade de generalização é extremamente limitada, assim como uma marionete jogada por especialistas.
**Estágio de acumulação de sedimentos (décadas de 1990-2010): **AIGC mudou gradualmente de experimental para prático. Grandes avanços foram feitos em algoritmos de aprendizado profundo, unidades de processamento gráfico (GPUs), processadores tensores (TPUs) e escala de dados de treinamento. Em 2007, o sistema de inteligência artificial montado pelo pesquisador de inteligência artificial da Universidade de Nova York Ross Goodwin (Ross Goodwin) escreveu a primeira criação de inteligência totalmente artificial do mundo, registrando e percebendo o que viu e ouviu durante a viagem. Ficção - 1 The Road . Em 2012, a Microsoft demonstrou publicamente um sistema de interpretação simultânea totalmente automático.Através da rede neural profunda (DNN), o conteúdo de falantes de inglês pode ser gerado automaticamente para fala chinesa por meio de reconhecimento de fala, tradução de idiomas, síntese de fala e outras tecnologias. Nesta fase, o AIGC começou a aprender automaticamente uma pequena quantidade de dados registrados por humanos e dominou uma certa capacidade de generalização, mas limitado pelo gargalo do algoritmo, o efeito de geração precisa ser aprimorado. Neste momento, o AIGC é como um papagaio bom em imitar, que parece ser decente, mas não sabe nada.
**Estágio de desenvolvimento rápido (2010 até o presente):**Desde 2014, com a introdução de algoritmos generativos de aprendizado profundo e a rápida expansão da escala de dados de treinamento, o efeito do conteúdo gerado por AIGC tornou-se gradualmente tão realista que é difícil para humanos para distinguir. Em 2017, a garota da inteligência artificial da Microsoft "Xiaobing" lançou a primeira coleção de poesia do mundo "Sunshine Lost the Glass Window" criada inteiramente por inteligência artificial. Em 2018, o modelo StyleGAN lançado pela Nvidia pode gerar imagens automaticamente, e as imagens de alta resolução geradas por ele dificilmente podem ser distinguidas pelo olho humano. Em 2021, a OpenAI lançou o DALL-E e lançou uma versão atualizada do DALL-E-2 um ano depois. Os usuários só precisam inserir um pequeno texto descritivo e o DALL-E-2 pode criar desenhos correspondentes de alta qualidade, realistas, abstratos e outros estilos de pintura. Em julho de 2022, a ferramenta de pintura AI de código aberto Stable Diffusion foi lançada, permitindo que pessoas comuns criem trabalhos profissionais em nível de pintor. Em agosto do mesmo ano, uma obra chamada "Space Opera House" ganhou o primeiro prêmio na Colorado State Fair, nos Estados Unidos, obra feita pela AI. Modelos como Make-A-Video, Imagen Video e Phenaki lançados posteriormente podem gerar vídeos com descrições de texto. ** Em 30 de novembro de 2022, a OpenAI lançou o robô de bate-papo ChatGPT. Até agora, a era do AIGC foi totalmente aberta e o conteúdo gerado está florescendo. **
Combustível de Dados
Após quase 70 anos de precipitação tecnológica, AIGC tornou-se uma forma importante da indústria de inteligência artificial. Em 2022, pesquisadores do Google publicaram um artigo intitulado "Capacidade emergente de modelos de linguagem grandes" e descobriram que, quando o modelo de linguagem é muito grande para exceder um determinado valor crítico, surgirão recursos que modelos menores não possuem. **Nos últimos anos, as conquistas notáveis das tecnologias de modelos de grande escala representadas por GPT-4 e ChatGPT mostraram que aumentar a escala de modelos e dados é uma maneira eficaz de superar o gargalo das tecnologias existentes.
Os modelos de IA estão ficando maiores, essencialmente para acomodar mais dados, mas os dados de alta qualidade registrados por humanos podem se esgotar em um futuro próximo. A Epoch, uma organização de pesquisa e previsão de inteligência artificial, previu em um artigo não revisado por pares que dados de texto de alta qualidade, dados de texto de baixa qualidade e dados de imagem serão processados artificialmente em 2023-2027, 2030-2050 e 2030 -2070, respectivamente. Inteligência drenada.
Naquela época, a síntese de dados baseada em AIGC se tornará um novo combustível para a inteligência artificial. Atualmente, os dados gerados por inteligência artificial representam menos de 1% de todos os dados.**Segundo previsão da consultoria Gartner (Gartner), até 2025, os dados gerados por inteligência artificial representarão 10% de todos dados. ** Portanto, estabelecer uma ecologia industrial AIGC completa o mais rápido possível, permitindo que os usuários interajam ativamente com AIGC para gerar dados, formando assim um volante de dados, continuará a promover o avanço da tecnologia de inteligência artificial.
Olhando para o futuro, AIGC para a ciência pode se tornar uma área de águas profundas e um novo campo de batalha principal para a aplicação da tecnologia de inteligência artificial, ou seja, "a inteligência artificial abre o futuro da pesquisa científica". **No passado, os dividendos de dados das empresas de Internet foram esgotados, mas uma grande quantidade de dados experimentais foi acumulada no campo científico. Depois de alimentar 280 milhões de sequências de aminoácidos, uma empresa iniciante em Berkeley, Califórnia, permitiu que o modelo aprendesse a linguagem das proteínas, realizando a síntese de novas proteínas do zero pela primeira vez. A inovação que o AIGC traz para a ciência está em pleno andamento. **Prevê-se que até 2025, mais de 30% dos medicamentos e materiais serão descobertos com a ajuda do AIGC. **
No futuro, os seres humanos estarão ligados ao AIGC para formar uma simbiose de criação de conteúdo e descoberta de conhecimento, mas todas as coisas profundas dos seres humanos não serão alteradas pela IA. O CEO da OpenAI, Sam Altman (Sam Altman), uma vez imaginou: **Como seres humanos, ainda prestamos atenção à interação entre as pessoas, o mecanismo de recompensa do cérebro humano não mudou, ainda buscamos a felicidade e temos o desejo de criar E o desejo de competição, o desejo de formar uma família... O que os humanos se importavam há 50.000 anos, os humanos se importarão cem anos depois. **
Sam Altman também disse que a popularidade do ChatGPT faz com que todos sintam que o AGI (General Artificial Intelligence) parece estar mais próximo de nós, mas, na verdade, um grande modelo de linguagem semelhante ao ChatGPT ainda está muito longe do AGI, e ainda temos um longo caminho a percorrer no futuro. Entre a mudança e a invariância, chegou a onda desencadeada pelo AIGC.