Se puede pensar en la civilización humana como la suma total de los registros de las huellas de toda la vida humana. Entonces, si existe un súper cerebro que aprenda todo el conocimiento registrado por los seres humanos, ¿puede ayudarnos a crear una civilización más brillante y rica?
En diciembre de 2022, AIGC, que fue seleccionado como uno de los diez principales avances científicos por la revista "Science", hará realidad este sueño. El nombre completo de AIGC es AI-Generated Content, es decir, IA generativa, que utiliza tecnología de inteligencia artificial para producir contenido automáticamente. Para la AIGC, 2022 se considera un año de crecimiento increíble. **Se puede decir que AIGC es la dirección de desarrollo más popular y llena de fantasía en el campo de la IA en la actualidad. El desarrollo de AIGC ha dado lugar a aplicaciones explosivas como asistentes de escritura, pintura de IA, robots de diálogo, humanos digitales y oficina. asistentes de software, que se forman a través de la interacción humano-computadora nuevos paradigmas de grabación, aprendizaje y recreación. **Entonces surge una pregunta convincente: ¿Cómo impulsará AIGC la nueva ola de inteligencia artificial?
Grabar, aprender y recrear
Los héroes no necesariamente comienzan desde abajo. La historia de OpenAI comienza con un grupo de emprendedores advenedizos que están llenos de miedo sobre el futuro de la inteligencia artificial. La serie GPT es como un súper cerebro cultivado por varias fuentes cuidadosamente preparadas por OpenAI.
El modelo GPT-2, que se creó casi tres años y medio después de su establecimiento, es el primer trabajo verdaderamente representativo de OpenAI. GPT-2 contiene 1500 millones de parámetros, se alimenta de 8 millones de publicaciones en foros de Reddit y un total de 40 GB de texto, lo que muestra la capacidad de continuar escribiendo texto. Por ejemplo, si ingresas una oración en "El Señor de los Anillos", generará una continuación que hace imposible distinguir entre verdadero y falso, y la trama es diferente a la original, pero parece lógica.
OpenAI quería saber frenéticamente qué tipo de capacidades tendría este supercerebro si pudiera comer más corpus, por lo que nació GPT-3 con 175 mil millones de parámetros. Solo el entrenamiento de GPT-3 cuesta decenas de millones de dólares. Los expertos alimentan el modelo con cientos de miles de millones de palabras en inglés, incluidos informes de noticias, publicaciones, libros de texto completo y varias páginas web recopiladas de 60 millones de nombres de dominio en los últimos 12 años. . Esta vez, GPT-3 no solo tiene una capacidad de generación de lenguaje más poderosa, sino que también tiene una excelente capacidad de aprendizaje de contexto y mucho conocimiento del mundo. Es competente para escribir poesía, escribir informes de noticias, responder preguntas y escribir código. El último GPT-4 tiene capacidades de comprensión y procesamiento de datos más sólidas. Puede recibir y generar texto de 25,000 palabras, que es 8 veces más que el ChatGPT anterior.
Además, su capacidad de pensamiento lógico y su capacidad de comprensión de imágenes también han dado grandes saltos. OpenAI es quizás el practicante más firme del paradigma de grabación, aprendizaje y recreación de IA. Según la especulación de la Universidad de Edimburgo y el Instituto Allen de Inteligencia Artificial, de GPT-3 a GPT-3.5 a GPT-4, OpenAI ha iterado varias versiones internamente. **ChatGPT realiza un ajuste fino de las instrucciones basado en el aprendizaje de refuerzo de retroalimentación humana y mejora las cuatro habilidades de respuesta detallada, respuesta justa, rechazo de preguntas inapropiadas y rechazo de preguntas más allá de su alcance de conocimiento al reducir en gran medida la capacidad de aprendizaje del contexto. **
AIGC en el camino
Además de la tecnología de generación de lenguaje representada por ChatGPT, AIGC también incluye generación de imágenes, generación de video, generación de audio, etc. El largo proceso de desarrollo de AIGC, según el "Libro blanco de AIGC" emitido por la Academia de Tecnología de la Información y las Comunicaciones de China, se puede dividir aproximadamente en las siguientes tres etapas:
**Etapa embrionaria temprana (décadas de 1950 a 1990): **Limitado por el nivel de tecnología, AIGC se limita a experimentos a pequeña escala y el contenido generado no es muy realista. En 1957, Lejaren Hiller y Leonard Isaacson completaron la primera composición musical de la historia generada por computadora al cambiar las variables de control en el programa de computadora en notas musicales: Cuarteto de cuerdas "Ilyac Suite". En 1966, Joseph Weizenbaum (Joseph Weizenbaum) y Kenneth Colby (Kenneth Colby) desarrollaron conjuntamente el primer robot del mundo "Eliza" (Eliza), que utiliza el escaneo de palabras clave y la recombinación para completar misiones interactivas. A mediados de la década de 1980, IBM creó la máquina de escribir controlada por voz "Tangora" basada en el modelo oculto de la cadena de Markov, que podía procesar 20.000 palabras. En esta etapa, AIGC solo se genera aprendiendo las reglas escritas por expertos, y su capacidad de generalización es extremadamente limitada, como una marioneta interpretada por expertos.
**Etapa de acumulación de sedimentos (décadas de 1990 a 2010): **AIGC cambió gradualmente de experimental a práctico. Se han logrado avances importantes en algoritmos de aprendizaje profundo, unidades de procesamiento de gráficos (GPU), procesadores de tensor (TPU) y escala de datos de entrenamiento. En 2007, el sistema de inteligencia artificial ensamblado por el investigador de inteligencia artificial de la Universidad de Nueva York Ross Goodwin (Ross Goodwin) escribió la primera creación de inteligencia completamente artificial del mundo al registrar y percibir lo que vio y escuchó durante el viaje por carretera. . En 2012, Microsoft demostró públicamente un sistema de interpretación simultánea completamente automático. A través de la red neuronal profunda (DNN), el contenido de los hablantes de inglés se puede generar automáticamente al habla china a través del reconocimiento de voz, la traducción de idiomas, la síntesis de voz y otras tecnologías. En esta etapa, AIGC comenzó a aprender automáticamente una pequeña cantidad de datos registrados por humanos y dominó cierta capacidad de generalización, pero limitado por el cuello de botella del algoritmo, el efecto de generación debe mejorarse. En este momento, el AIGC es como un loro bueno para imitar, que parece ser decente pero no sabe nada.
**Etapa de desarrollo rápido (de 2010 a la actualidad):**Desde 2014, con la introducción de algoritmos generativos de aprendizaje profundo y la rápida expansión de la escala de datos de entrenamiento, el efecto del contenido generado por AIGC se ha vuelto gradualmente tan realista que es difícil para humanos para distinguir. En 2017, la chica de inteligencia artificial de Microsoft, "Xiaobing", lanzó la primera colección de poesía del mundo, "Sunshine Lost the Glass Window", creada en su totalidad por inteligencia artificial. En 2018, el modelo StyleGAN lanzado por Nvidia puede generar imágenes automáticamente, y el ojo humano apenas puede distinguir las imágenes de alta resolución que genera. En 2021, OpenAI lanzó DALL-E y lanzó una versión mejorada DALL-E-2 un año después. Los usuarios solo necesitan ingresar un breve texto descriptivo, y DALL-E-2 puede crear dibujos animados correspondientes de muy alta calidad, realistas, abstractos. y otros estilos de pintura. En julio de 2022, se lanzó la herramienta de pintura de IA de código abierto Stable Diffusion, que permite a la gente común crear obras profesionales a nivel de pintor. En agosto del mismo año, una obra de arte llamada "Space Opera House" ganó el primer premio en la Feria Estatal de Colorado en los Estados Unidos.Esta obra fue realizada por AI. Los modelos como Make-A-Video, Imagen Video y Phenaki lanzados más tarde pueden generar videos con descripciones de texto. ** El 30 de noviembre de 2022, OpenAI lanzó el robot de chat ChatGPT. Hasta ahora, la era de AIGC se ha abierto por completo y el contenido generado está floreciendo. **
Combustible de datos
Después de casi 70 años de precipitación tecnológica, AIGC se ha convertido en una forma importante de la industria de la inteligencia artificial. En 2022, los investigadores de Google publicaron un artículo titulado "Capacidad emergente de modelos de lenguaje grandes" y descubrieron que cuando el modelo de lenguaje es demasiado grande para exceder un cierto valor crítico, emergerán capacidades que los modelos más pequeños no tienen. **En los últimos años, los notables logros de las tecnologías de modelos a gran escala representados por GPT-4 y ChatGPT han demostrado que aumentar la escala de los modelos y los datos es una forma eficaz de superar el cuello de botella de las tecnologías existentes.
Los modelos de IA son cada vez más grandes, esencialmente para acomodar más datos, pero los datos de alta calidad registrados por humanos pueden agotarse en un futuro cercano. Epoch, una organización de investigación y pronóstico de inteligencia artificial, predijo en un artículo no revisado por pares que los datos de texto de alta calidad, los datos de texto de baja calidad y los datos de imágenes se procesarán artificialmente en 2023-2027, 2030-2050 y 2030 -2070, respectivamente Inteligencia drenada.
En ese momento, la síntesis de datos basada en AIGC se convertirá en un nuevo combustible para la inteligencia artificial. En la actualidad, los datos generados por inteligencia artificial representan menos del 1% de todos los datos. **Según la previsión de la consultora Gartner (Gartner), para 2025, los datos generados por inteligencia artificial representarán el 10% de todos datos. ** Por lo tanto, establecer una ecología industrial AIGC completa lo antes posible, que permita a los usuarios interactuar activamente con AIGC para generar datos, formando así un volante de datos, continuará promoviendo el avance de la tecnología de inteligencia artificial.
Mirando hacia el futuro, AIGC para la ciencia puede convertirse en un área de aguas profundas y un nuevo campo de batalla principal para la aplicación de tecnología de inteligencia artificial, es decir, "la inteligencia artificial abre el futuro de la investigación científica". ** En el pasado, los dividendos de datos de las empresas de Internet se han agotado, pero se ha acumulado una gran cantidad de datos experimentales en el campo científico. Después de alimentar 280 millones de secuencias de aminoácidos, una empresa nueva en Berkeley, California, permitió que el modelo aprendiera el lenguaje de las proteínas, realizando la síntesis de nuevas proteínas desde cero por primera vez. La innovación que AIGC aporta a la ciencia está en pleno apogeo. **Se prevé que para 2025, más del 30 % de los medicamentos y materiales se descubrirán con la ayuda de AIGC. **
En el futuro, los seres humanos se vincularán con AIGC para formar una simbiosis de creación de contenido y descubrimiento de conocimientos, pero la IA no cambiará todas las cosas profundamente arraigadas de los seres humanos. El CEO de OpenAI, Sam Altman (Sam Altman), imaginó una vez: **Como seres humanos, todavía prestamos atención a la interacción entre las personas, el mecanismo de recompensa del cerebro humano no ha cambiado, todavía buscamos la felicidad y tenemos el deseo de crear Y el deseo de competencia, deseo de formar una familia... Lo que a los humanos les importaba hace 50.000 años, a los humanos les importará cien años después. **
Sam Altman también dijo que la popularidad de ChatGPT hace que todos sientan que AGI (Inteligencia Artificial General) parece estar más cerca de nosotros, pero de hecho, un gran modelo de lenguaje similar a ChatGPT todavía está muy lejos de AGI, y todavía tenemos un mucho camino por recorrer en el futuro camino por recorrer. Entre el cambio y la invariancia, ha llegado la ola desencadenada por AIGC.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
AIGC, la ola de la generación de contenidos ha llegado
Original: conocimiento empresarial de Fudan
Se puede pensar en la civilización humana como la suma total de los registros de las huellas de toda la vida humana. Entonces, si existe un súper cerebro que aprenda todo el conocimiento registrado por los seres humanos, ¿puede ayudarnos a crear una civilización más brillante y rica?
En diciembre de 2022, AIGC, que fue seleccionado como uno de los diez principales avances científicos por la revista "Science", hará realidad este sueño. El nombre completo de AIGC es AI-Generated Content, es decir, IA generativa, que utiliza tecnología de inteligencia artificial para producir contenido automáticamente. Para la AIGC, 2022 se considera un año de crecimiento increíble. **Se puede decir que AIGC es la dirección de desarrollo más popular y llena de fantasía en el campo de la IA en la actualidad. El desarrollo de AIGC ha dado lugar a aplicaciones explosivas como asistentes de escritura, pintura de IA, robots de diálogo, humanos digitales y oficina. asistentes de software, que se forman a través de la interacción humano-computadora nuevos paradigmas de grabación, aprendizaje y recreación. **Entonces surge una pregunta convincente: ¿Cómo impulsará AIGC la nueva ola de inteligencia artificial?
Grabar, aprender y recrear
Los héroes no necesariamente comienzan desde abajo. La historia de OpenAI comienza con un grupo de emprendedores advenedizos que están llenos de miedo sobre el futuro de la inteligencia artificial. La serie GPT es como un súper cerebro cultivado por varias fuentes cuidadosamente preparadas por OpenAI.
El modelo GPT-2, que se creó casi tres años y medio después de su establecimiento, es el primer trabajo verdaderamente representativo de OpenAI. GPT-2 contiene 1500 millones de parámetros, se alimenta de 8 millones de publicaciones en foros de Reddit y un total de 40 GB de texto, lo que muestra la capacidad de continuar escribiendo texto. Por ejemplo, si ingresas una oración en "El Señor de los Anillos", generará una continuación que hace imposible distinguir entre verdadero y falso, y la trama es diferente a la original, pero parece lógica.
OpenAI quería saber frenéticamente qué tipo de capacidades tendría este supercerebro si pudiera comer más corpus, por lo que nació GPT-3 con 175 mil millones de parámetros. Solo el entrenamiento de GPT-3 cuesta decenas de millones de dólares. Los expertos alimentan el modelo con cientos de miles de millones de palabras en inglés, incluidos informes de noticias, publicaciones, libros de texto completo y varias páginas web recopiladas de 60 millones de nombres de dominio en los últimos 12 años. . Esta vez, GPT-3 no solo tiene una capacidad de generación de lenguaje más poderosa, sino que también tiene una excelente capacidad de aprendizaje de contexto y mucho conocimiento del mundo. Es competente para escribir poesía, escribir informes de noticias, responder preguntas y escribir código. El último GPT-4 tiene capacidades de comprensión y procesamiento de datos más sólidas. Puede recibir y generar texto de 25,000 palabras, que es 8 veces más que el ChatGPT anterior.
Además, su capacidad de pensamiento lógico y su capacidad de comprensión de imágenes también han dado grandes saltos. OpenAI es quizás el practicante más firme del paradigma de grabación, aprendizaje y recreación de IA. Según la especulación de la Universidad de Edimburgo y el Instituto Allen de Inteligencia Artificial, de GPT-3 a GPT-3.5 a GPT-4, OpenAI ha iterado varias versiones internamente. **ChatGPT realiza un ajuste fino de las instrucciones basado en el aprendizaje de refuerzo de retroalimentación humana y mejora las cuatro habilidades de respuesta detallada, respuesta justa, rechazo de preguntas inapropiadas y rechazo de preguntas más allá de su alcance de conocimiento al reducir en gran medida la capacidad de aprendizaje del contexto. **
AIGC en el camino
Además de la tecnología de generación de lenguaje representada por ChatGPT, AIGC también incluye generación de imágenes, generación de video, generación de audio, etc. El largo proceso de desarrollo de AIGC, según el "Libro blanco de AIGC" emitido por la Academia de Tecnología de la Información y las Comunicaciones de China, se puede dividir aproximadamente en las siguientes tres etapas:
**Etapa embrionaria temprana (décadas de 1950 a 1990): **Limitado por el nivel de tecnología, AIGC se limita a experimentos a pequeña escala y el contenido generado no es muy realista. En 1957, Lejaren Hiller y Leonard Isaacson completaron la primera composición musical de la historia generada por computadora al cambiar las variables de control en el programa de computadora en notas musicales: Cuarteto de cuerdas "Ilyac Suite". En 1966, Joseph Weizenbaum (Joseph Weizenbaum) y Kenneth Colby (Kenneth Colby) desarrollaron conjuntamente el primer robot del mundo "Eliza" (Eliza), que utiliza el escaneo de palabras clave y la recombinación para completar misiones interactivas. A mediados de la década de 1980, IBM creó la máquina de escribir controlada por voz "Tangora" basada en el modelo oculto de la cadena de Markov, que podía procesar 20.000 palabras. En esta etapa, AIGC solo se genera aprendiendo las reglas escritas por expertos, y su capacidad de generalización es extremadamente limitada, como una marioneta interpretada por expertos.
**Etapa de acumulación de sedimentos (décadas de 1990 a 2010): **AIGC cambió gradualmente de experimental a práctico. Se han logrado avances importantes en algoritmos de aprendizaje profundo, unidades de procesamiento de gráficos (GPU), procesadores de tensor (TPU) y escala de datos de entrenamiento. En 2007, el sistema de inteligencia artificial ensamblado por el investigador de inteligencia artificial de la Universidad de Nueva York Ross Goodwin (Ross Goodwin) escribió la primera creación de inteligencia completamente artificial del mundo al registrar y percibir lo que vio y escuchó durante el viaje por carretera. . En 2012, Microsoft demostró públicamente un sistema de interpretación simultánea completamente automático. A través de la red neuronal profunda (DNN), el contenido de los hablantes de inglés se puede generar automáticamente al habla china a través del reconocimiento de voz, la traducción de idiomas, la síntesis de voz y otras tecnologías. En esta etapa, AIGC comenzó a aprender automáticamente una pequeña cantidad de datos registrados por humanos y dominó cierta capacidad de generalización, pero limitado por el cuello de botella del algoritmo, el efecto de generación debe mejorarse. En este momento, el AIGC es como un loro bueno para imitar, que parece ser decente pero no sabe nada.
**Etapa de desarrollo rápido (de 2010 a la actualidad):**Desde 2014, con la introducción de algoritmos generativos de aprendizaje profundo y la rápida expansión de la escala de datos de entrenamiento, el efecto del contenido generado por AIGC se ha vuelto gradualmente tan realista que es difícil para humanos para distinguir. En 2017, la chica de inteligencia artificial de Microsoft, "Xiaobing", lanzó la primera colección de poesía del mundo, "Sunshine Lost the Glass Window", creada en su totalidad por inteligencia artificial. En 2018, el modelo StyleGAN lanzado por Nvidia puede generar imágenes automáticamente, y el ojo humano apenas puede distinguir las imágenes de alta resolución que genera. En 2021, OpenAI lanzó DALL-E y lanzó una versión mejorada DALL-E-2 un año después. Los usuarios solo necesitan ingresar un breve texto descriptivo, y DALL-E-2 puede crear dibujos animados correspondientes de muy alta calidad, realistas, abstractos. y otros estilos de pintura. En julio de 2022, se lanzó la herramienta de pintura de IA de código abierto Stable Diffusion, que permite a la gente común crear obras profesionales a nivel de pintor. En agosto del mismo año, una obra de arte llamada "Space Opera House" ganó el primer premio en la Feria Estatal de Colorado en los Estados Unidos.Esta obra fue realizada por AI. Los modelos como Make-A-Video, Imagen Video y Phenaki lanzados más tarde pueden generar videos con descripciones de texto. ** El 30 de noviembre de 2022, OpenAI lanzó el robot de chat ChatGPT. Hasta ahora, la era de AIGC se ha abierto por completo y el contenido generado está floreciendo. **
Combustible de datos
Después de casi 70 años de precipitación tecnológica, AIGC se ha convertido en una forma importante de la industria de la inteligencia artificial. En 2022, los investigadores de Google publicaron un artículo titulado "Capacidad emergente de modelos de lenguaje grandes" y descubrieron que cuando el modelo de lenguaje es demasiado grande para exceder un cierto valor crítico, emergerán capacidades que los modelos más pequeños no tienen. **En los últimos años, los notables logros de las tecnologías de modelos a gran escala representados por GPT-4 y ChatGPT han demostrado que aumentar la escala de los modelos y los datos es una forma eficaz de superar el cuello de botella de las tecnologías existentes.
Los modelos de IA son cada vez más grandes, esencialmente para acomodar más datos, pero los datos de alta calidad registrados por humanos pueden agotarse en un futuro cercano. Epoch, una organización de investigación y pronóstico de inteligencia artificial, predijo en un artículo no revisado por pares que los datos de texto de alta calidad, los datos de texto de baja calidad y los datos de imágenes se procesarán artificialmente en 2023-2027, 2030-2050 y 2030 -2070, respectivamente Inteligencia drenada.
En ese momento, la síntesis de datos basada en AIGC se convertirá en un nuevo combustible para la inteligencia artificial. En la actualidad, los datos generados por inteligencia artificial representan menos del 1% de todos los datos. **Según la previsión de la consultora Gartner (Gartner), para 2025, los datos generados por inteligencia artificial representarán el 10% de todos datos. ** Por lo tanto, establecer una ecología industrial AIGC completa lo antes posible, que permita a los usuarios interactuar activamente con AIGC para generar datos, formando así un volante de datos, continuará promoviendo el avance de la tecnología de inteligencia artificial.
Mirando hacia el futuro, AIGC para la ciencia puede convertirse en un área de aguas profundas y un nuevo campo de batalla principal para la aplicación de tecnología de inteligencia artificial, es decir, "la inteligencia artificial abre el futuro de la investigación científica". ** En el pasado, los dividendos de datos de las empresas de Internet se han agotado, pero se ha acumulado una gran cantidad de datos experimentales en el campo científico. Después de alimentar 280 millones de secuencias de aminoácidos, una empresa nueva en Berkeley, California, permitió que el modelo aprendiera el lenguaje de las proteínas, realizando la síntesis de nuevas proteínas desde cero por primera vez. La innovación que AIGC aporta a la ciencia está en pleno apogeo. **Se prevé que para 2025, más del 30 % de los medicamentos y materiales se descubrirán con la ayuda de AIGC. **
En el futuro, los seres humanos se vincularán con AIGC para formar una simbiosis de creación de contenido y descubrimiento de conocimientos, pero la IA no cambiará todas las cosas profundamente arraigadas de los seres humanos. El CEO de OpenAI, Sam Altman (Sam Altman), imaginó una vez: **Como seres humanos, todavía prestamos atención a la interacción entre las personas, el mecanismo de recompensa del cerebro humano no ha cambiado, todavía buscamos la felicidad y tenemos el deseo de crear Y el deseo de competencia, deseo de formar una familia... Lo que a los humanos les importaba hace 50.000 años, a los humanos les importará cien años después. **
Sam Altman también dijo que la popularidad de ChatGPT hace que todos sientan que AGI (Inteligencia Artificial General) parece estar más cerca de nosotros, pero de hecho, un gran modelo de lenguaje similar a ChatGPT todavía está muy lejos de AGI, y todavía tenemos un mucho camino por recorrer en el futuro camino por recorrer. Entre el cambio y la invariancia, ha llegado la ola desencadenada por AIGC.