Alors qu'Altman appelle à une réglementation de l'avenir de l'IA, il ne pense pas que le modèle actuel soit dangereux et pense que ce serait une grave erreur de le réglementer ou de l'interdire.
·Les données internes d'OpenAI montrent que les lois d'échelle des performances du modèle (lois d'échelle) sont toujours en vigueur, ce qui rend le modèle plus grand continuera à produire des performances.
Source de l'image : générée par l'outil d'IA illimitée
La semaine dernière, plus de 20 développeurs, dont le PDG d'OpenAI Sam Altman et le PDG de la plateforme de développement d'IA HumanLoop Raza Habib, ont tenu une réunion à huis clos pour discuter de l'API (interface de programmation d'application) et des plans de produits d'OpenAI. Quelques jours plus tard, Raza Habibi publiait un résumé détaillé des temps forts de la rencontre.
Au cours de la discussion, Altman a admis très franchement qu'OpenAI est actuellement limité par le GPU (unité de traitement graphique) et a parlé du plan open source de GPT-3, de la priorité absolue actuelle d'OpenAI et de l'impact social de l'intelligence artificielle. Alors qu'Altman appelle à une réglementation de l'avenir de l'IA, il ne considère pas le modèle actuel comme dangereux.
Altman a également déclaré que les données internes d'OpenAI montrent que la loi selon laquelle les performances du modèle sont proportionnelles à l'échelle est toujours vraie, c'est-à-dire que plus le modèle est grand, plus les performances sont fortes. OpenAI continuera d'essayer de rendre les modèles plus grands, mais ils ne feront probablement que doubler ou tripler de taille chaque année, pas de plusieurs ordres de grandeur.
Actuellement sévèrement limité par le GPU
Un thème récurrent tout au long de la discussion était que la forte dépendance actuelle d'OpenAI à l'égard des GPU a retardé bon nombre de leurs plans à court terme.
OpenAI a reçu le plus de plaintes d'utilisateurs concernant la fiabilité et la rapidité de l'API. Altman a compris leurs préoccupations et a expliqué qu'une grande partie du problème était causée par un manque de ressources GPU.
La fonction de contexte de jetons 32k précédemment prise en charge par ChatGPT ne peut pas être étendue à plus de personnes, et OpenAI a encore quelques problèmes à résoudre, donc bien qu'ils puissent bientôt avoir une fenêtre de contexte de jetons 100k-1M, ils doivent encore être obtenus dans une percée de recherche.
L'API de réglage fin est également actuellement limitée par les ressources GPU. Ils n'ont pas encore utilisé de méthodes de réglage fin efficaces comme les adaptateurs ou LoRa (deux méthodes de réglage fin courantes pour les grands modèles), de sorte que le fonctionnement et la gestion du réglage fin nécessitent beaucoup de ressources informatiques. Il y aura de meilleures façons d'affiner à l'avenir. Ils pourraient même héberger un marché pour les modèles contribués par la communauté.
Le provisionnement de capacité dédiée est également limité par les ressources GPU. OpenAI fournit une capacité dédiée aux clients ayant des besoins privés, permettant aux clients d'exécuter des données privées dans un espace dédié. Pour accéder à ce service, les clients doivent s'engager à verser une avance de 100 000 $.
Feuille de route OpenAI
Sam a partagé une feuille de route provisoire à court terme pour l'API d'OpenAI.
En 2023, la première tâche consiste à obtenir un GPT-4 moins cher et plus rapide ; deuxièmement, une fenêtre contextuelle plus longue - dans un avenir proche, la fenêtre contextuelle pourrait atteindre jusqu'à 1 million de jetons ; troisièmement, l'API de réglage fin s'étendra au dernier modèle, mais la forme spécifique sera déterminée par les besoins réels des développeurs ; quatrièmement, une API avec état - lors de l'appel de l'API de chat aujourd'hui, il est nécessaire de passer à plusieurs reprises le même historique de conversation et de payer les mêmes jetons à plusieurs reprises. À l'avenir , il y aura une version d'API qui se souviendra de l'historique des conversations.
En 2024, des capacités multimodales seront ouvertes. Lorsque GPT-4 est sorti, il a démontré de puissantes capacités multimodales, mais tant que les GPU ne sont pas satisfaits, cette capacité ne peut pas être étendue à tout le monde.
De nombreux développeurs souhaitent accéder aux plugins ChatGPT via l'API, mais Altman ne pense pas que ces plugins seront publiés à court terme. En plus de la navigation, le système de plug-in n'a pas encore trouvé de PMF (Product Market Fit, le meilleur ajustement entre le produit et le marché).
Altman a souligné que beaucoup de gens pensent qu'ils veulent que leur application soit dans ChatGPT, mais ce qu'ils veulent vraiment, c'est ChatGPT dans l'application.
Altman a déclaré qu'OpenAI ne publiera pas plus de produits que ChatGPT.
Il a dit que par convention, une grande plate-forme aura une application qui tue, et ChatGPT va créer cette application qui bat tous les records. La vision de ChatGPT est d'être un assistant super intelligent pour le travail, mais il existe de nombreux autres cas d'utilisation GPT auxquels OpenAI ne touchera pas.
** Les lois de mise à l'échelle s'appliquent toujours **
Alors qu'Altman appelle à une réglementation de l'avenir de l'IA, il ne pense pas que le modèle actuel soit dangereux et pense que ce serait une grave erreur de le réglementer ou de l'interdire.
Il a réitéré sa conviction en l'importance de l'open source et a déclaré qu'OpenAI envisageait de rendre GPT-3 open source. La raison pour laquelle il n'a pas été open source est qu'ils estiment que peu de personnes et d'entreprises ont la capacité de gérer correctement un modèle de langage aussi vaste.
De nombreux articles récents ont cité Altman disant que "l'ère des modèles d'IA géants est révolue", mais cela ne reflète pas fidèlement sa signification originale. Il a déclaré que les données internes d'OpenAI montrent que les lois d'échelle des performances du modèle (lois d'échelle) sont toujours en vigueur, ce qui rendra le modèle plus grand continuera à produire des performances. Le taux de mise à l'échelle est en effet insoutenable, car OpenAI a fait évoluer le modèle des millions de fois en quelques années seulement, et continuer à le faire à l'avenir n'est pas durable. Cela ne signifie pas qu'OpenAI ne continuera pas à essayer de rendre les modèles plus grands, cela signifie simplement qu'ils ne feront probablement que doubler ou tripler chaque année, plutôt que de nombreux ordres de grandeur.
Le fait que les lois de mise à l'échelle continuent de s'appliquer a des implications importantes pour les délais de développement de l'AGI (intelligence générale artificielle), a déclaré Altman. La loi d'échelle suppose que nous avons probablement déjà la plupart des pièces nécessaires pour construire AGI, et que la plupart du travail restant consistera à étendre les méthodes existantes à des modèles plus grands et à des ensembles de données plus grands. Si l'ère des lois d'échelle est révolue, nous devrions probablement nous attendre à ce que l'AGI soit encore loin. Le fait que les lois d'échelle continuent de fonctionner suggère fortement un délai court pour atteindre l'AGI.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
La dernière révélation d'Altman : il y a une pénurie urgente de GPU et prévoit d'ouvrir le GPT-3 et d'ouvrir la multimodalité l'année prochaine
Source: Le papier
Journaliste Shao Wen
Alors qu'Altman appelle à une réglementation de l'avenir de l'IA, il ne pense pas que le modèle actuel soit dangereux et pense que ce serait une grave erreur de le réglementer ou de l'interdire.
·Les données internes d'OpenAI montrent que les lois d'échelle des performances du modèle (lois d'échelle) sont toujours en vigueur, ce qui rend le modèle plus grand continuera à produire des performances.
La semaine dernière, plus de 20 développeurs, dont le PDG d'OpenAI Sam Altman et le PDG de la plateforme de développement d'IA HumanLoop Raza Habib, ont tenu une réunion à huis clos pour discuter de l'API (interface de programmation d'application) et des plans de produits d'OpenAI. Quelques jours plus tard, Raza Habibi publiait un résumé détaillé des temps forts de la rencontre.
Au cours de la discussion, Altman a admis très franchement qu'OpenAI est actuellement limité par le GPU (unité de traitement graphique) et a parlé du plan open source de GPT-3, de la priorité absolue actuelle d'OpenAI et de l'impact social de l'intelligence artificielle. Alors qu'Altman appelle à une réglementation de l'avenir de l'IA, il ne considère pas le modèle actuel comme dangereux.
Altman a également déclaré que les données internes d'OpenAI montrent que la loi selon laquelle les performances du modèle sont proportionnelles à l'échelle est toujours vraie, c'est-à-dire que plus le modèle est grand, plus les performances sont fortes. OpenAI continuera d'essayer de rendre les modèles plus grands, mais ils ne feront probablement que doubler ou tripler de taille chaque année, pas de plusieurs ordres de grandeur.
Actuellement sévèrement limité par le GPU
Un thème récurrent tout au long de la discussion était que la forte dépendance actuelle d'OpenAI à l'égard des GPU a retardé bon nombre de leurs plans à court terme.
OpenAI a reçu le plus de plaintes d'utilisateurs concernant la fiabilité et la rapidité de l'API. Altman a compris leurs préoccupations et a expliqué qu'une grande partie du problème était causée par un manque de ressources GPU.
La fonction de contexte de jetons 32k précédemment prise en charge par ChatGPT ne peut pas être étendue à plus de personnes, et OpenAI a encore quelques problèmes à résoudre, donc bien qu'ils puissent bientôt avoir une fenêtre de contexte de jetons 100k-1M, ils doivent encore être obtenus dans une percée de recherche.
L'API de réglage fin est également actuellement limitée par les ressources GPU. Ils n'ont pas encore utilisé de méthodes de réglage fin efficaces comme les adaptateurs ou LoRa (deux méthodes de réglage fin courantes pour les grands modèles), de sorte que le fonctionnement et la gestion du réglage fin nécessitent beaucoup de ressources informatiques. Il y aura de meilleures façons d'affiner à l'avenir. Ils pourraient même héberger un marché pour les modèles contribués par la communauté.
Le provisionnement de capacité dédiée est également limité par les ressources GPU. OpenAI fournit une capacité dédiée aux clients ayant des besoins privés, permettant aux clients d'exécuter des données privées dans un espace dédié. Pour accéder à ce service, les clients doivent s'engager à verser une avance de 100 000 $.
Feuille de route OpenAI
Sam a partagé une feuille de route provisoire à court terme pour l'API d'OpenAI.
En 2023, la première tâche consiste à obtenir un GPT-4 moins cher et plus rapide ; deuxièmement, une fenêtre contextuelle plus longue - dans un avenir proche, la fenêtre contextuelle pourrait atteindre jusqu'à 1 million de jetons ; troisièmement, l'API de réglage fin s'étendra au dernier modèle, mais la forme spécifique sera déterminée par les besoins réels des développeurs ; quatrièmement, une API avec état - lors de l'appel de l'API de chat aujourd'hui, il est nécessaire de passer à plusieurs reprises le même historique de conversation et de payer les mêmes jetons à plusieurs reprises. À l'avenir , il y aura une version d'API qui se souviendra de l'historique des conversations.
En 2024, des capacités multimodales seront ouvertes. Lorsque GPT-4 est sorti, il a démontré de puissantes capacités multimodales, mais tant que les GPU ne sont pas satisfaits, cette capacité ne peut pas être étendue à tout le monde.
De nombreux développeurs souhaitent accéder aux plugins ChatGPT via l'API, mais Altman ne pense pas que ces plugins seront publiés à court terme. En plus de la navigation, le système de plug-in n'a pas encore trouvé de PMF (Product Market Fit, le meilleur ajustement entre le produit et le marché).
Altman a souligné que beaucoup de gens pensent qu'ils veulent que leur application soit dans ChatGPT, mais ce qu'ils veulent vraiment, c'est ChatGPT dans l'application.
Altman a déclaré qu'OpenAI ne publiera pas plus de produits que ChatGPT.
Il a dit que par convention, une grande plate-forme aura une application qui tue, et ChatGPT va créer cette application qui bat tous les records. La vision de ChatGPT est d'être un assistant super intelligent pour le travail, mais il existe de nombreux autres cas d'utilisation GPT auxquels OpenAI ne touchera pas.
** Les lois de mise à l'échelle s'appliquent toujours **
Alors qu'Altman appelle à une réglementation de l'avenir de l'IA, il ne pense pas que le modèle actuel soit dangereux et pense que ce serait une grave erreur de le réglementer ou de l'interdire.
Il a réitéré sa conviction en l'importance de l'open source et a déclaré qu'OpenAI envisageait de rendre GPT-3 open source. La raison pour laquelle il n'a pas été open source est qu'ils estiment que peu de personnes et d'entreprises ont la capacité de gérer correctement un modèle de langage aussi vaste.
De nombreux articles récents ont cité Altman disant que "l'ère des modèles d'IA géants est révolue", mais cela ne reflète pas fidèlement sa signification originale. Il a déclaré que les données internes d'OpenAI montrent que les lois d'échelle des performances du modèle (lois d'échelle) sont toujours en vigueur, ce qui rendra le modèle plus grand continuera à produire des performances. Le taux de mise à l'échelle est en effet insoutenable, car OpenAI a fait évoluer le modèle des millions de fois en quelques années seulement, et continuer à le faire à l'avenir n'est pas durable. Cela ne signifie pas qu'OpenAI ne continuera pas à essayer de rendre les modèles plus grands, cela signifie simplement qu'ils ne feront probablement que doubler ou tripler chaque année, plutôt que de nombreux ordres de grandeur.
Le fait que les lois de mise à l'échelle continuent de s'appliquer a des implications importantes pour les délais de développement de l'AGI (intelligence générale artificielle), a déclaré Altman. La loi d'échelle suppose que nous avons probablement déjà la plupart des pièces nécessaires pour construire AGI, et que la plupart du travail restant consistera à étendre les méthodes existantes à des modèles plus grands et à des ensembles de données plus grands. Si l'ère des lois d'échelle est révolue, nous devrions probablement nous attendre à ce que l'AGI soit encore loin. Le fait que les lois d'échelle continuent de fonctionner suggère fortement un délai court pour atteindre l'AGI.