La civilisation humaine peut être considérée comme la somme totale des enregistrements des empreintes de toute vie humaine. Alors, s'il existe un super cerveau qui apprend toutes les connaissances enregistrées par les êtres humains, peut-il nous aider à créer une civilisation plus brillante et plus riche ?
En décembre 2022, l'AIGC, qui a été sélectionnée comme l'une des dix meilleures percées scientifiques par le magazine "Science", concrétisera ce rêve. Le nom complet d'AIGC est AI-Generated Content, c'est-à-dire l'IA générative, qui utilise la technologie de l'intelligence artificielle pour produire automatiquement du contenu. Pour l'AIGC, 2022 est considérée comme une année de croissance incroyable. ** On peut dire que l'AIGC est la direction de développement la plus populaire et la plus fantaisiste dans le domaine de l'IA aujourd'hui. Le développement de l'AIGC a donné naissance à des applications explosives telles que les assistants d'écriture, la peinture IA, les robots de dialogue, les humains numériques et le bureau les assistants logiciels, formés par l'interaction homme-ordinateur, les nouveaux paradigmes d'enregistrement, d'apprentissage et de recréation. **Une question impérieuse se pose alors : comment l'AIGC va-t-elle booster la nouvelle vague d'intelligence artificielle ?
Enregistrez, apprenez et recréez
Les héros ne commencent pas nécessairement par le bas.L'histoire d'OpenAI commence avec un groupe d'entrepreneurs parvenus qui ont peur de l'avenir de l'intelligence artificielle. La série GPT est comme un super cerveau cultivé par divers flux soigneusement préparés par OpenAI.
Le modèle GPT-2, qui a été créé près de trois ans et demi après sa création, est le premier travail véritablement représentatif d'OpenAI. GPT-2 contient 1,5 milliard de paramètres, se nourrit de 8 millions de messages sur le forum Reddit et d'un total de 40 Go de texte, ce qui montre la possibilité de continuer à écrire du texte. Par exemple, si vous entrez une phrase dans "Le Seigneur des Anneaux", cela générera une suite qui rend impossible la distinction entre vrai et faux, et l'intrigue est différente de l'original, mais cela semble logique.
OpenAI voulait frénétiquement savoir quel type de capacités ce super cerveau aurait s'il pouvait manger plus de corpus, alors GPT-3 avec 175 milliards de paramètres est né. La formation GPT-3 coûte à elle seule des dizaines de millions de dollars. Les experts alimentent le modèle de centaines de milliards de mots anglais, y compris des reportages, des publications, des livres en texte intégral et diverses pages Web collectées à partir de 60 millions de noms de domaine au cours des 12 dernières années. . Cette fois, GPT-3 a non seulement une capacité de génération de langage plus puissante, mais également une excellente capacité d'apprentissage du contexte et une grande connaissance du monde.Il est compétent pour écrire de la poésie, rédiger des reportages, répondre à des questions et écrire du code. Le dernier GPT-4 a de meilleures capacités de traitement et de compréhension des données. Il peut recevoir et générer du texte de 25 000 mots, soit 8 fois plus que le précédent ChatGPT.
De plus, sa capacité de réflexion logique et sa capacité de compréhension des images ont également fait de grands progrès. OpenAI est peut-être le praticien le plus fidèle du paradigme de l'enregistrement, de l'apprentissage et de la recréation de l'IA. Selon les spéculations de l'Université d'Édimbourg et de l'Allen Institute of Artificial Intelligence, de GPT-3 à GPT-3.5 à GPT-4, OpenAI a itéré plusieurs versions en interne. **ChatGPT effectue un réglage fin des instructions basé sur l'apprentissage par renforcement des commentaires humains et améliore les quatre capacités de réponse détaillée, de réponse juste, de rejet des questions inappropriées et de rejet des questions au-delà de son champ de connaissances en réduisant considérablement la capacité d'apprentissage du contexte. **
AIGC en cours de route
En plus de la technologie de génération de langage représentée par ChatGPT, AIGC inclut également la génération d'images, la génération vidéo, la génération audio, etc. Le long processus de développement de l'AIGC, selon le "livre blanc de l'AIGC" publié par l'Académie chinoise des technologies de l'information et de la communication, peut être grossièrement divisé en trois étapes :
** Stade embryonnaire précoce (années 1950-1990) : ** Limité par le niveau technologique, l'AIGC se limite à des expérimentations à petite échelle, et le contenu généré n'est pas très réaliste. En 1957, Lejaren Hiller et Leonard Isaacson ont achevé la première composition musicale générée par ordinateur de l'histoire en transformant les variables de contrôle du programme informatique en notes de musique - - String Quartet "Ilyac Suite". En 1966, Joseph Weizenbaum (Joseph Weizenbaum) et Kenneth Colby (Kenneth Colby) ont développé conjointement le premier robot au monde "Eliza" (Eliza), qui utilise la numérisation et la recombinaison de mots clés pour accomplir des missions interactives. Au milieu des années 1980, IBM a créé la machine à écrire à commande vocale "Tangora" basée sur le modèle de chaîne de Markov caché, capable de traiter 20 000 mots. A ce stade, AIGC n'est généré qu'en apprenant les règles écrites par des experts, et sa capacité de généralisation est extrêmement limitée, tout comme une marionnette jouée par des experts.
**Étape d'accumulation de sédiments (années 1990-2010) : **AIGC est progressivement passé d'expérimental à pratique. Des percées majeures ont été réalisées dans les algorithmes d'apprentissage en profondeur, les unités de traitement graphique (GPU), les processeurs tensoriels (TPU) et l'échelle des données de formation. En 2007, le système d'intelligence artificielle assemblé par le chercheur en intelligence artificielle de l'Université de New York, Ross Goodwin (Ross Goodwin), a écrit la première création d'intelligence artificielle au monde en enregistrant et en percevant ce qu'il a vu et entendu pendant le road trip. . En 2012, Microsoft a publiquement fait la démonstration d'un système d'interprétation simultanée entièrement automatique.Grâce au réseau de neurones profonds (DNN), le contenu des anglophones peut être automatiquement généré dans le discours chinois grâce à la reconnaissance vocale, la traduction de la langue, la synthèse vocale et d'autres technologies. A ce stade, AIGC a commencé à apprendre automatiquement une petite quantité de données enregistrées par l'homme, et maîtrisé une certaine capacité de généralisation, mais limité par le goulot d'étranglement de l'algorithme, l'effet de génération doit être amélioré. A cette époque, l'AIGC est comme un perroquet bon à imiter, qui semble être décent mais ne sait rien.
**Étape de développement rapide (des années 2010 à aujourd'hui) :**Depuis 2014, avec l'introduction d'algorithmes d'apprentissage profond génératif et l'expansion rapide de l'échelle des données de formation, l'effet du contenu généré par l'AIGC est progressivement devenu si réaliste qu'il est difficile pour humains à distinguer. En 2017, la fille de l'intelligence artificielle de Microsoft "Xiaobing" a lancé le premier recueil de poésie au monde "Sunshine Lost the Glass Window" entièrement créé par l'intelligence artificielle. En 2018, le modèle StyleGAN publié par Nvidia peut générer automatiquement des images, et les images haute résolution générées par celui-ci peuvent difficilement être distinguées par l'œil humain. En 2021, OpenAI a lancé DALL-E et a lancé une version améliorée DALL-E-2 un an plus tard. Les utilisateurs n'ont qu'à saisir un court texte descriptif, et DALL-E-2 peut créer des dessins animés correspondants de très haute qualité, réalistes, abstraits et d'autres styles de peinture. En juillet 2022, l'outil de peinture AI open source Stable Diffusion a été lancé, permettant aux gens ordinaires de créer des œuvres professionnelles de niveau peintre. En août de la même année, une œuvre d'art intitulée "Space Opera House" a remporté le premier prix à la foire de l'État du Colorado aux États-Unis. Cette œuvre a été réalisée par AI. Des modèles tels que Make-A-Video, Imagen Video et Phenaki publiés ultérieurement peuvent générer des vidéos avec des descriptions textuelles. ** Le 30 novembre 2022, OpenAI a lancé le robot de chat ChatGPT. Jusqu'à présent, l'ère de l'AIGC s'est complètement ouverte et le contenu généré est florissant. **
Carburant de données
Après près de 70 ans de précipitation technologique, AIGC est devenu une forme importante de l'industrie de l'intelligence artificielle. En 2022, des chercheurs de Google ont publié un article intitulé "Emerging Ability of Large Language Models", et ont constaté que lorsque le modèle de langage est trop grand pour dépasser une certaine valeur critique, des capacités que les modèles plus petits n'ont pas émergeront. ** Ces dernières années, les réalisations remarquables des technologies de modélisation à grande échelle représentées par GPT-4 et ChatGPT ont montré que l'augmentation de l'échelle des modèles et des données est un moyen efficace de briser le goulot d'étranglement des technologies existantes.
Les modèles d'IA deviennent de plus en plus grands, essentiellement pour accueillir plus de données, mais les données de haute qualité enregistrées par les humains pourraient être épuisées dans un proche avenir. Epoch, une organisation de recherche et de prévision en intelligence artificielle, a prédit dans un article non évalué par des pairs que des données textuelles de haute qualité, des données textuelles de faible qualité et des données d'image seront artificiellement traitées en 2023-2027, 2030-2050 et 2030 -2070, respectivement Intelligence drainée.
À ce moment-là, la synthèse de données basée sur l'AIGC deviendra un nouveau carburant pour l'intelligence artificielle. À l'heure actuelle, les données générées par l'intelligence artificielle représentent moins de 1 % de toutes les données. ** Selon les prévisions du cabinet de conseil Gartner (Gartner), d'ici 2025, les données générées par l'intelligence artificielle représenteront 10 % de toutes données. ** Par conséquent, établir une écologie industrielle AIGC complète dès que possible, permettant aux utilisateurs d'interagir activement avec AIGC pour générer des données, formant ainsi un volant de données, continuera de promouvoir l'avancement de la technologie de l'intelligence artificielle.
En regardant vers l'avenir, l'AIGC pour la science pourrait devenir une zone en eau profonde et un nouveau champ de bataille principal pour l'application de la technologie de l'intelligence artificielle, c'est-à-dire que "l'intelligence artificielle ouvre l'avenir de la recherche scientifique". ** Dans le passé, les dividendes de données des sociétés Internet ont été épuisés, mais une grande quantité de données expérimentales a été accumulée dans le domaine scientifique. Après avoir alimenté 280 millions de séquences d'acides aminés, une start-up de Berkeley, en Californie, a laissé le modèle apprendre le langage des protéines, réalisant pour la première fois la synthèse de nouvelles protéines à partir de zéro. L'innovation que l'AIGC apporte à la science bat son plein. **Il est prévu que d'ici 2025, plus de 30 % des médicaments et des matériaux seront découverts avec l'aide de l'AIGC. **
À l'avenir, les êtres humains seront liés à l'AIGC pour former une symbiose de création de contenu et de découverte de connaissances, mais toutes les choses profondes des êtres humains ne seront pas modifiées par l'IA. Le PDG d'OpenAI, Sam Altman (Sam Altman), a un jour imaginé : ** En tant qu'êtres humains, nous prêtons toujours attention à l'interaction entre les personnes, le mécanisme de récompense du cerveau humain n'a pas changé, nous poursuivons toujours le bonheur et avons le désir de créer Et le désir de compétition, désir de fonder une famille... Ce que les humains se souciaient il y a environ 50 000 ans, les humains s'en soucieront cent ans plus tard. **
Sam Altman a également déclaré que la popularité de ChatGPT fait que tout le monde a l'impression que l'AGI (intelligence artificielle générale) semble être plus proche de nous, mais en fait, un grand modèle de langage similaire à ChatGPT est encore très éloigné de l'AGI, et nous avons toujours un long chemin à parcourir dans le futur. chemin à parcourir. Entre changement et invariance, la vague déclenchée par l'AIGC est arrivée.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
AIGC, la vague de génération de contenus est arrivée
Original : connaissances commerciales de Fudan
La civilisation humaine peut être considérée comme la somme totale des enregistrements des empreintes de toute vie humaine. Alors, s'il existe un super cerveau qui apprend toutes les connaissances enregistrées par les êtres humains, peut-il nous aider à créer une civilisation plus brillante et plus riche ?
En décembre 2022, l'AIGC, qui a été sélectionnée comme l'une des dix meilleures percées scientifiques par le magazine "Science", concrétisera ce rêve. Le nom complet d'AIGC est AI-Generated Content, c'est-à-dire l'IA générative, qui utilise la technologie de l'intelligence artificielle pour produire automatiquement du contenu. Pour l'AIGC, 2022 est considérée comme une année de croissance incroyable. ** On peut dire que l'AIGC est la direction de développement la plus populaire et la plus fantaisiste dans le domaine de l'IA aujourd'hui. Le développement de l'AIGC a donné naissance à des applications explosives telles que les assistants d'écriture, la peinture IA, les robots de dialogue, les humains numériques et le bureau les assistants logiciels, formés par l'interaction homme-ordinateur, les nouveaux paradigmes d'enregistrement, d'apprentissage et de recréation. **Une question impérieuse se pose alors : comment l'AIGC va-t-elle booster la nouvelle vague d'intelligence artificielle ?
Enregistrez, apprenez et recréez
Les héros ne commencent pas nécessairement par le bas.L'histoire d'OpenAI commence avec un groupe d'entrepreneurs parvenus qui ont peur de l'avenir de l'intelligence artificielle. La série GPT est comme un super cerveau cultivé par divers flux soigneusement préparés par OpenAI.
Le modèle GPT-2, qui a été créé près de trois ans et demi après sa création, est le premier travail véritablement représentatif d'OpenAI. GPT-2 contient 1,5 milliard de paramètres, se nourrit de 8 millions de messages sur le forum Reddit et d'un total de 40 Go de texte, ce qui montre la possibilité de continuer à écrire du texte. Par exemple, si vous entrez une phrase dans "Le Seigneur des Anneaux", cela générera une suite qui rend impossible la distinction entre vrai et faux, et l'intrigue est différente de l'original, mais cela semble logique.
OpenAI voulait frénétiquement savoir quel type de capacités ce super cerveau aurait s'il pouvait manger plus de corpus, alors GPT-3 avec 175 milliards de paramètres est né. La formation GPT-3 coûte à elle seule des dizaines de millions de dollars. Les experts alimentent le modèle de centaines de milliards de mots anglais, y compris des reportages, des publications, des livres en texte intégral et diverses pages Web collectées à partir de 60 millions de noms de domaine au cours des 12 dernières années. . Cette fois, GPT-3 a non seulement une capacité de génération de langage plus puissante, mais également une excellente capacité d'apprentissage du contexte et une grande connaissance du monde.Il est compétent pour écrire de la poésie, rédiger des reportages, répondre à des questions et écrire du code. Le dernier GPT-4 a de meilleures capacités de traitement et de compréhension des données. Il peut recevoir et générer du texte de 25 000 mots, soit 8 fois plus que le précédent ChatGPT.
De plus, sa capacité de réflexion logique et sa capacité de compréhension des images ont également fait de grands progrès. OpenAI est peut-être le praticien le plus fidèle du paradigme de l'enregistrement, de l'apprentissage et de la recréation de l'IA. Selon les spéculations de l'Université d'Édimbourg et de l'Allen Institute of Artificial Intelligence, de GPT-3 à GPT-3.5 à GPT-4, OpenAI a itéré plusieurs versions en interne. **ChatGPT effectue un réglage fin des instructions basé sur l'apprentissage par renforcement des commentaires humains et améliore les quatre capacités de réponse détaillée, de réponse juste, de rejet des questions inappropriées et de rejet des questions au-delà de son champ de connaissances en réduisant considérablement la capacité d'apprentissage du contexte. **
AIGC en cours de route
En plus de la technologie de génération de langage représentée par ChatGPT, AIGC inclut également la génération d'images, la génération vidéo, la génération audio, etc. Le long processus de développement de l'AIGC, selon le "livre blanc de l'AIGC" publié par l'Académie chinoise des technologies de l'information et de la communication, peut être grossièrement divisé en trois étapes :
** Stade embryonnaire précoce (années 1950-1990) : ** Limité par le niveau technologique, l'AIGC se limite à des expérimentations à petite échelle, et le contenu généré n'est pas très réaliste. En 1957, Lejaren Hiller et Leonard Isaacson ont achevé la première composition musicale générée par ordinateur de l'histoire en transformant les variables de contrôle du programme informatique en notes de musique - - String Quartet "Ilyac Suite". En 1966, Joseph Weizenbaum (Joseph Weizenbaum) et Kenneth Colby (Kenneth Colby) ont développé conjointement le premier robot au monde "Eliza" (Eliza), qui utilise la numérisation et la recombinaison de mots clés pour accomplir des missions interactives. Au milieu des années 1980, IBM a créé la machine à écrire à commande vocale "Tangora" basée sur le modèle de chaîne de Markov caché, capable de traiter 20 000 mots. A ce stade, AIGC n'est généré qu'en apprenant les règles écrites par des experts, et sa capacité de généralisation est extrêmement limitée, tout comme une marionnette jouée par des experts.
**Étape d'accumulation de sédiments (années 1990-2010) : **AIGC est progressivement passé d'expérimental à pratique. Des percées majeures ont été réalisées dans les algorithmes d'apprentissage en profondeur, les unités de traitement graphique (GPU), les processeurs tensoriels (TPU) et l'échelle des données de formation. En 2007, le système d'intelligence artificielle assemblé par le chercheur en intelligence artificielle de l'Université de New York, Ross Goodwin (Ross Goodwin), a écrit la première création d'intelligence artificielle au monde en enregistrant et en percevant ce qu'il a vu et entendu pendant le road trip. . En 2012, Microsoft a publiquement fait la démonstration d'un système d'interprétation simultanée entièrement automatique.Grâce au réseau de neurones profonds (DNN), le contenu des anglophones peut être automatiquement généré dans le discours chinois grâce à la reconnaissance vocale, la traduction de la langue, la synthèse vocale et d'autres technologies. A ce stade, AIGC a commencé à apprendre automatiquement une petite quantité de données enregistrées par l'homme, et maîtrisé une certaine capacité de généralisation, mais limité par le goulot d'étranglement de l'algorithme, l'effet de génération doit être amélioré. A cette époque, l'AIGC est comme un perroquet bon à imiter, qui semble être décent mais ne sait rien.
**Étape de développement rapide (des années 2010 à aujourd'hui) :**Depuis 2014, avec l'introduction d'algorithmes d'apprentissage profond génératif et l'expansion rapide de l'échelle des données de formation, l'effet du contenu généré par l'AIGC est progressivement devenu si réaliste qu'il est difficile pour humains à distinguer. En 2017, la fille de l'intelligence artificielle de Microsoft "Xiaobing" a lancé le premier recueil de poésie au monde "Sunshine Lost the Glass Window" entièrement créé par l'intelligence artificielle. En 2018, le modèle StyleGAN publié par Nvidia peut générer automatiquement des images, et les images haute résolution générées par celui-ci peuvent difficilement être distinguées par l'œil humain. En 2021, OpenAI a lancé DALL-E et a lancé une version améliorée DALL-E-2 un an plus tard. Les utilisateurs n'ont qu'à saisir un court texte descriptif, et DALL-E-2 peut créer des dessins animés correspondants de très haute qualité, réalistes, abstraits et d'autres styles de peinture. En juillet 2022, l'outil de peinture AI open source Stable Diffusion a été lancé, permettant aux gens ordinaires de créer des œuvres professionnelles de niveau peintre. En août de la même année, une œuvre d'art intitulée "Space Opera House" a remporté le premier prix à la foire de l'État du Colorado aux États-Unis. Cette œuvre a été réalisée par AI. Des modèles tels que Make-A-Video, Imagen Video et Phenaki publiés ultérieurement peuvent générer des vidéos avec des descriptions textuelles. ** Le 30 novembre 2022, OpenAI a lancé le robot de chat ChatGPT. Jusqu'à présent, l'ère de l'AIGC s'est complètement ouverte et le contenu généré est florissant. **
Carburant de données
Après près de 70 ans de précipitation technologique, AIGC est devenu une forme importante de l'industrie de l'intelligence artificielle. En 2022, des chercheurs de Google ont publié un article intitulé "Emerging Ability of Large Language Models", et ont constaté que lorsque le modèle de langage est trop grand pour dépasser une certaine valeur critique, des capacités que les modèles plus petits n'ont pas émergeront. ** Ces dernières années, les réalisations remarquables des technologies de modélisation à grande échelle représentées par GPT-4 et ChatGPT ont montré que l'augmentation de l'échelle des modèles et des données est un moyen efficace de briser le goulot d'étranglement des technologies existantes.
Les modèles d'IA deviennent de plus en plus grands, essentiellement pour accueillir plus de données, mais les données de haute qualité enregistrées par les humains pourraient être épuisées dans un proche avenir. Epoch, une organisation de recherche et de prévision en intelligence artificielle, a prédit dans un article non évalué par des pairs que des données textuelles de haute qualité, des données textuelles de faible qualité et des données d'image seront artificiellement traitées en 2023-2027, 2030-2050 et 2030 -2070, respectivement Intelligence drainée.
À ce moment-là, la synthèse de données basée sur l'AIGC deviendra un nouveau carburant pour l'intelligence artificielle. À l'heure actuelle, les données générées par l'intelligence artificielle représentent moins de 1 % de toutes les données. ** Selon les prévisions du cabinet de conseil Gartner (Gartner), d'ici 2025, les données générées par l'intelligence artificielle représenteront 10 % de toutes données. ** Par conséquent, établir une écologie industrielle AIGC complète dès que possible, permettant aux utilisateurs d'interagir activement avec AIGC pour générer des données, formant ainsi un volant de données, continuera de promouvoir l'avancement de la technologie de l'intelligence artificielle.
En regardant vers l'avenir, l'AIGC pour la science pourrait devenir une zone en eau profonde et un nouveau champ de bataille principal pour l'application de la technologie de l'intelligence artificielle, c'est-à-dire que "l'intelligence artificielle ouvre l'avenir de la recherche scientifique". ** Dans le passé, les dividendes de données des sociétés Internet ont été épuisés, mais une grande quantité de données expérimentales a été accumulée dans le domaine scientifique. Après avoir alimenté 280 millions de séquences d'acides aminés, une start-up de Berkeley, en Californie, a laissé le modèle apprendre le langage des protéines, réalisant pour la première fois la synthèse de nouvelles protéines à partir de zéro. L'innovation que l'AIGC apporte à la science bat son plein. **Il est prévu que d'ici 2025, plus de 30 % des médicaments et des matériaux seront découverts avec l'aide de l'AIGC. **
À l'avenir, les êtres humains seront liés à l'AIGC pour former une symbiose de création de contenu et de découverte de connaissances, mais toutes les choses profondes des êtres humains ne seront pas modifiées par l'IA. Le PDG d'OpenAI, Sam Altman (Sam Altman), a un jour imaginé : ** En tant qu'êtres humains, nous prêtons toujours attention à l'interaction entre les personnes, le mécanisme de récompense du cerveau humain n'a pas changé, nous poursuivons toujours le bonheur et avons le désir de créer Et le désir de compétition, désir de fonder une famille... Ce que les humains se souciaient il y a environ 50 000 ans, les humains s'en soucieront cent ans plus tard. **
Sam Altman a également déclaré que la popularité de ChatGPT fait que tout le monde a l'impression que l'AGI (intelligence artificielle générale) semble être plus proche de nous, mais en fait, un grand modèle de langage similaire à ChatGPT est encore très éloigné de l'AGI, et nous avons toujours un long chemin à parcourir dans le futur. chemin à parcourir. Entre changement et invariance, la vague déclenchée par l'AIGC est arrivée.