Texte intégral du China Dialogue de Sam Altman : Nous devons être attentifs aux risques de l'IA, mais il est beaucoup plus facile de comprendre les réseaux de neurones que de comprendre ce que les gens pensent
Le discours de Sam Altman a eu lieu au sous-forum sur la sécurité et l'alignement de l'IA de la conférence de Zhiyuan le 10 juin. La scène était pleine de sièges. Lorsque le PDG d'OpenAI est apparu à l'écran, il y a eu des applaudissements et presque tout le monde a levé son téléphone portable pour prendre des photos sur l'écran.
Mais Altman lui-même apparaît calme, voire prudent. C'est la première fois depuis que ChatGPT a suscité le boom mondial de l'IA l'année dernière que Sam Altman exprime publiquement ses opinions sur un fond chinois.
En fait, il se trouvait également non loin de la Chine ce jour-là : il venait d'arriver à Séoul et de rencontrer le président sud-coréen. Après son discours, il a également eu une séance de questions-réponses en tête-à-tête avec Zhang Hongjiang, président de l'Institut de recherche de Zhiyuan. Voici les principaux points et faits.
Points clés:
Au fur et à mesure que nous nous rapprochons de l'AGI dans la technologie, les effets et les pièges du désalignement augmenteront de façon exponentielle.
OpenAI utilise actuellement la technologie de rétroaction humaine d'apprentissage par renforcement pour s'assurer que les systèmes d'IA sont utiles et sûrs, et explore également de nouvelles technologies.L'une des idées est d'utiliser des systèmes d'IA pour aider les humains à superviser d'autres systèmes d'IA.
Les humains disposeront de puissants systèmes d'intelligence artificielle (IA) d'ici dix ans.
OpenAI n'a pas de nouveau calendrier open source pertinent, et bien qu'il reconnaisse que le modèle open source présente des avantages en matière de sécurité de l'IA, l'open source n'est peut-être pas la meilleure voie.
Il est beaucoup plus facile de comprendre un réseau de neurones qu'un cerveau humain.
La Chine possède les meilleurs talents en intelligence artificielle, et la sécurité de l'IA nécessite la participation et la contribution de chercheurs chinois.
Voici la transcription du discours :
Aujourd'hui, je veux parler de l'avenir. Plus précisément, le taux de croissance que nous constatons dans les capacités d'IA. Que devons-nous faire maintenant pour préparer le monde de manière responsable à leur introduction, l'histoire des sciences nous a appris que le progrès technologique suit une courbe exponentielle. On le voit déjà dans l'histoire, de l'agriculture et de l'industrie à la révolution informatique. Ce qui est stupéfiant avec l'intelligence artificielle, ce n'est pas seulement son impact, mais aussi la rapidité de ses progrès. Il repousse les limites de l'imagination humaine, et il le fait à un rythme rapide.
Imaginez qu'au cours de la prochaine décennie, les systèmes communément appelés intelligence artificielle générale (IAG) dépassent l'expertise humaine dans presque tous les domaines. Ces systèmes pourraient éventuellement dépasser la productivité collective de nos plus grandes entreprises. Il y a un énorme potentiel de hausse qui se cache ici. La révolution de l'IA créera une richesse partagée et permettra d'améliorer le niveau de vie de chacun, de relever des défis communs tels que le changement climatique et la sécurité sanitaire mondiale, et d'améliorer le bien-être de la société d'innombrables autres manières.
Je crois fermement en cet avenir, et pour le concrétiser et en profiter, nous devons investir collectivement dans la sécurité AGI et gérer les risques. Si nous ne faisons pas attention, un système AGI qui n'est pas adapté à son objectif pourrait saper l'ensemble du système de santé en faisant des recommandations infondées. De même, un système AGI conçu pour optimiser les pratiques agricoles peut épuiser par inadvertance les ressources naturelles ou endommager les écosystèmes, affectant la production alimentaire et l'équilibre environnemental en raison du manque de considération pour la durabilité à long terme.
J'espère que nous pourrons tous convenir que la promotion de la sécurité AGI est l'un de nos domaines les plus importants. Je veux concentrer le reste de mon discours sur où je pense que nous pouvons commencer.
Un domaine est la gouvernance de l'IAG, une technologie aux implications mondiales. Le coût des accidents résultant d'un développement et d'un déploiement imprudents nous affectera tous.
À cet égard, il y a deux éléments clés :
Premièrement, nous devons établir des normes et standards internationaux et, par le biais d'un processus inclusif, développer des protections égales et uniformes pour l'utilisation de l'IAG dans tous les pays. Dans le cadre de ces protections, nous croyons que les gens ont amplement la possibilité de faire leurs propres choix.
Deuxièmement, nous avons besoin d'une coopération internationale pour instaurer la confiance mondiale dans le développement sûr de systèmes d'IA de plus en plus puissants, de manière vérifiable. Ce n'est pas une tâche facile. Nous avons besoin d'une attention soutenue et critique en tant que communauté internationale pour bien faire cela. Le Tao Te King nous rappelle qu'un voyage de mille lieues commence par un seul pas. Nous pensons que la première étape la plus constructive à franchir ici est de travailler avec la communauté technologique internationale.
En particulier, nous devrions promouvoir des mécanismes pour une transparence accrue et le partage des connaissances concernant les avancées technologiques en matière de sécurité des AGI. Les chercheurs qui découvrent des problèmes de sécurité émergents devraient partager leurs idées pour le plus grand bien. Nous devons réfléchir attentivement à la manière dont nous pouvons encourager de telles normes tout en respectant et en protégeant les droits de propriété intellectuelle.
Si nous le faisons bien, cela nous ouvrira de nouvelles portes pour approfondir notre coopération. Plus généralement, nous devrions investir, faciliter et orienter les investissements dans le ciblage et la recherche sur la sécurité.
Chez OpenAI, nos recherches ciblées se concentrent aujourd'hui sur des questions techniques sur la manière de faire en sorte que les systèmes d'IA agissent comme des assistants utiles et sûrs dans nos systèmes actuels. Cela pourrait signifier, comment formons-nous ChatGPT afin qu'il ne fasse pas de menaces de violence ou n'aide pas les utilisateurs dans des activités nuisibles.
Mais à mesure que nous nous rapprochons de l'AGI, l'impact potentiel et l'ampleur de toute non-conformité augmenteront de façon exponentielle. Pour relever ces défis à l'avance, nous nous efforçons de minimiser le risque de résultats futurs catastrophiques. Pour le système actuel, nous utilisons principalement l'apprentissage par renforcement à partir de la rétroaction humaine pour entraîner notre modèle à agir comme un assistant utile et sûr.
Ceci est un exemple de technique de cible post-formation, et nous sommes également occupés à en développer de nouvelles. Il faut beaucoup de travail d'ingénierie pour bien faire cela. Il nous a fallu 8 mois pour le faire à partir du moment où GPT-4 a terminé la pré-formation jusqu'à son déploiement. Dans l'ensemble, nous pensons que nous sommes sur la bonne voie ici. Le GPT-4 correspond mieux à la cible que n'importe lequel de nos modèles précédents.
Cependant, le ciblage reste un problème ouvert pour les systèmes plus avancés, ce qui, selon nous, nécessitera de nouvelles approches techniques, ainsi qu'une gouvernance et une surveillance accrues. Imaginez un système AGI futuriste proposant 100 000 lignes de code binaire. Il est peu probable que les superviseurs humains détectent si un tel modèle fait quelque chose de néfaste.
Nous investissons donc dans des directions de recherche nouvelles et complémentaires qui, nous l'espérons, mèneront à des percées. L'un est la supervision évolutive. Nous pouvons essayer d'utiliser des systèmes d'IA pour aider les humains à superviser d'autres systèmes d'IA. Par exemple, nous pouvons former un modèle pour aider les superviseurs humains à repérer les défauts dans la sortie d'autres modèles. La seconde est l'interprétabilité. Nous voulions essayer de mieux comprendre ce qui se passe à l'intérieur de ces modèles.
Nous avons récemment publié un article utilisant GPT-4 pour interpréter les neurones dans GPT-2. Dans un autre article, nous utilisons les internes du modèle pour détecter quand le modèle ment. Bien que nous ayons encore un long chemin à parcourir, nous pensons que les techniques avancées d'apprentissage automatique peuvent encore améliorer notre capacité à générer des explications.
En fin de compte, notre objectif est de former des systèmes d'IA pour aider à cibler la recherche elle-même. Un aspect prometteur de cette approche est qu'elle s'adapte au rythme du développement de l'IA. Au fur et à mesure que les futurs modèles deviendront de plus en plus intelligents et utiles en tant qu'assistants, nous trouverons de meilleures techniques qui réalisent les avantages extraordinaires de l'IAG tout en atténuant les risques, l'un des défis les plus importants de notre époque.
Voici la transcription de la conversation :
Zhang Hongjiang : À quelle distance sommes-nous de l'intelligence artificielle ? Le risque est-il urgent ou en sommes-nous loin ? Qu'il s'agisse d'une IA sûre ou d'une IA potentiellement dangereuse.
Sam Altman : Ce problème est difficile à prévoir avec précision car il nécessite de nouvelles idées de recherche qui ne se développent pas toujours selon le calendrier prescrit. Cela peut arriver rapidement ou cela peut prendre plus de temps. Je pense qu'il est difficile de prédire avec certitude. Mais je pense que dans la prochaine décennie, nous aurons peut-être des systèmes d'IA très puissants. Dans un tel monde, je pense qu'il est important et urgent de résoudre ce problème, c'est pourquoi j'appelle la communauté internationale à travailler ensemble pour résoudre ce problème. L'histoire nous donne quelques exemples de nouvelles technologies qui changent le monde plus rapidement que beaucoup ne l'imaginent. L'impact et l'accélération de ces systèmes que nous constatons actuellement sont en un sens sans précédent. Je pense donc qu'il est très logique de se préparer à ce que cela se produise le plus tôt possible et d'aborder les aspects de sécurité, compte tenu de leur impact et de leur importance.
Zhang Hongjiang : Ressentez-vous un sentiment d'urgence ?
Sam Altman : Oui, je le sens. Je tiens à souligner que nous ne savons pas vraiment. Et la définition de l'intelligence artificielle est différente, mais je pense que dans dix ans, nous devrions être prêts pour un monde avec des systèmes très puissants.
Zhang Hongjiang : Vous avez également mentionné plusieurs coopérations mondiales dans votre discours tout à l'heure. Nous savons que le monde a été confronté à de nombreuses crises au cours des six ou sept dernières décennies. Mais pour bon nombre de ces crises, nous avons réussi à établir un consensus et une coopération mondiale. Vous aussi, faites une tournée mondiale. Quel type de collaboration mondiale encouragez-vous ? Que pensez-vous des commentaires que vous avez reçus jusqu'à présent ?
Sam Altman : Oui, je suis très satisfait des retours que j'ai reçus jusqu'à présent. Je pense que les gens prennent très au sérieux les risques et les opportunités présentés par l'IA. Je pense que la discussion à ce sujet a parcouru un long chemin au cours des six derniers mois. Les gens travaillent vraiment à trouver un cadre dans lequel nous pouvons profiter de ces avantages tout en travaillant ensemble pour atténuer les risques. Je pense que nous sommes très bien placés pour le faire. La coopération mondiale est toujours difficile, mais je la vois comme une opportunité et une menace qui peut rassembler le monde. Il serait très utile que nous puissions développer des cadres et des normes de sécurité pour guider le développement de ces systèmes.
Zhang Hongjiang : Sur ce sujet particulier, vous avez mentionné que l'alignement des systèmes avancés d'intelligence artificielle est un problème non résolu. J'ai aussi remarqué qu'Open AI y a mis beaucoup d'efforts ces dernières années. Vous avez également mentionné GPT-4 comme le meilleur exemple en termes d'alignement. Pensez-vous que nous pouvons résoudre les problèmes de sécurité de l'IA grâce à l'alignement ? Ou ce problème est-il plus important que l'alignement ?
Sam Altman : Je pense qu'il y a différentes utilisations du mot alignement. Je pense que ce que nous devons relever, c'est tout le défi de la mise en place de systèmes d'IA sûrs. L'alignement a traditionnellement consisté à faire en sorte que le modèle se comporte comme l'utilisateur le souhaite, et cela en fait certainement partie. Mais il y a d'autres questions auxquelles nous devons répondre, comme comment nous vérifions que les systèmes font ce que nous voulons qu'ils fassent, et sur quelles valeurs nous alignons les systèmes. Mais je pense qu'il est important d'avoir une vue d'ensemble de ce qui est nécessaire pour parvenir à une IA sûre.
Zhang Hongjiang : Oui, l'alignement est toujours le cas. Si nous regardons ce que GPT-4 a fait, pour la plupart, c'est toujours d'un point de vue technique. Mais il y a bien d'autres facteurs que la technologie. C'est une question très complexe. Souvent, les problèmes complexes sont systémiques. La sécurité de l'IA ne fait peut-être pas exception. Outre les aspects techniques, quels autres facteurs et problèmes pensez-vous être essentiels à la sécurité de l'IA ? Comment répondre à ces défis ? D'autant plus que la plupart d'entre nous sont des scientifiques, que sommes-nous censés faire ?
Sam Altman : C'est bien sûr une question très complexe. Je dirais que sans solution technique, tout le reste est difficile. Je pense qu'il est vraiment important de mettre l'accent sur les aspects techniques de la sécurité. Comme je l'ai mentionné, ce n'est pas un problème technique de déterminer sur quelles valeurs nous voulons aligner le système. Il a besoin d'un apport technique, mais c'est une question qui nécessite une discussion approfondie par l'ensemble de la société. Nous devons concevoir des systèmes équitables, représentatifs et inclusifs. Et, comme vous l'avez souligné, nous devons considérer non seulement la sécurité du modèle d'IA lui-même, mais la sécurité de l'ensemble du système. Il est donc également important de créer des classificateurs et des détecteurs de sécurité qui peuvent s'exécuter au-dessus du modèle et surveiller la conformité aux politiques d'utilisation. Et puis, je pense aussi qu'il est difficile de prédire à l'avance ce qui ne va pas avec n'importe quelle technologie. Alors apprenez du monde réel et déployez-le de manière itérative, voyez ce qui se passe lorsque vous mettez le modèle dans le monde réel, et améliorez-le, et donnez aux gens et à la société le temps d'apprendre et de se mettre à jour, et réfléchissez à la façon dont ces modèles seront utilisés pour de bon et affecter leur vie de manière négative. Ceci est également très important.
Zhang Hongjiang : Vous venez de mentionner la coopération mondiale. Vous avez visité de nombreux pays et vous avez mentionné la Chine. Mais pouvez-vous partager certains des résultats que vous avez obtenus en termes de collaboration ? Quels plans ou idées avez-vous pour les prochaines étapes ? De ce tour du monde, de vos interactions avec divers gouvernements, institutions, institutions ?
Sam Altman : Je pense que beaucoup de perspectives différentes et la sécurité de l'IA sont généralement nécessaires. Nous n'avons pas encore toutes les réponses, et c'est une question plutôt difficile et importante.
De plus, comme mentionné, ce n'est pas une question purement technique de rendre l'IA sûre et bénéfique. Implique de comprendre les préférences des utilisateurs dans différents pays dans des contextes très différents. Nous avons besoin de beaucoup d'apports différents pour y arriver. La Chine possède certains des meilleurs talents en IA au monde. Fondamentalement, je pense que les meilleurs esprits du monde entier sont nécessaires pour résoudre la difficulté d'aligner les systèmes d'IA avancés. J'espère donc vraiment que les chercheurs chinois en IA pourront apporter de grandes contributions ici.
Zhang Hongjiang : Je comprends que le forum d'aujourd'hui porte sur la sécurité de l'IA, car les gens sont très curieux à propos d'OpenAI, donc j'ai beaucoup de questions sur OpenAI, pas seulement sur la sécurité de l'IA. J'ai une question du public ici, y a-t-il un plan pour OpenAI de rouvrir ses modèles comme il le faisait avant la version 3.0 ? Je pense aussi que l'open source est bon pour la sécurité de l'IA.
Sam Altman : Certains de nos modèles sont open source et d'autres non, mais avec le temps, je pense que vous devriez vous attendre à ce que nous continuions à ouvrir davantage de modèles à l'avenir. Je n'ai pas de modèle ou de calendrier précis, mais c'est quelque chose dont nous discutons en ce moment.
Zhang Hongjiang : Nous avons mis tous nos efforts dans l'open source, y compris le modèle lui-même, les algorithmes pour développer le modèle et les outils pour optimiser la relation entre le modèle et les données. Nous croyons en la nécessité de partager et de donner aux utilisateurs le sentiment de contrôler ce qu'ils utilisent. Avez-vous des retours similaires ? Ou est-ce ce dont vous discutez dans OpenAI ?
Sam Altman : Oui, je pense que l'open source a un rôle important d'une certaine manière. De nombreux nouveaux modèles open source ont également fait leur apparition récemment. Je pense que le modèle d'API a également un rôle important. Il nous fournit des contrôles de sécurité supplémentaires. Vous pouvez bloquer certaines utilisations. Vous pouvez bloquer certains types de réglages. Si quelque chose ne fonctionne pas, vous pouvez le reprendre. A l'échelle du modèle actuel, je ne suis pas trop inquiet à ce sujet. Mais au fur et à mesure que le modèle devient aussi puissant que nous l'attendons, si nous avons raison, je pense que l'open source n'est peut-être pas la meilleure voie, même si parfois c'est juste. Je pense que nous devons simplement équilibrer cela avec soin.
Zhang Hongjiang : La question de suivi sur GPT-4 et la sécurité de l'IA est la suivante : devons-nous modifier l'ensemble de l'infrastructure ou l'architecture de l'ensemble du modèle AGI pour le rendre plus sûr et plus facile à vérifier ? Que pensez-vous de ceci?
Sam Altman : C'est tout à fait possible, nous avons besoin d'architectures très différentes, à la fois en termes de capacités et de sécurité. Je pense que nous allons pouvoir faire des progrès dans l'explicabilité, sur les types de modèles actuels, et qu'ils nous expliquent mieux ce qu'ils font et pourquoi. Mais cela ne me surprendrait pas s'il y avait un autre pas de géant après les transformateurs. Et effectivement on est déjà dans le transformateur d'origine, l'architecture a beaucoup changé.
Zhang Hongjiang : En tant que chercheur, je suis également curieux de savoir quelle est la prochaine direction de la recherche AGI ? En termes de grands modèles, de grands modèles de langage, verrons-nous bientôt GPT-5 ? La prochaine frontière est-elle celle des modèles incarnés ? La robotique autonome est-elle un domaine qu'OpenAI est ou envisage d'explorer ?
Sam Altman : Je suis également curieux de savoir ce qui va suivre, et l'une des choses que je préfère dans ce travail est qu'il y a beaucoup d'excitation et de surprise à la pointe de la recherche. Nous n'avons pas encore les réponses, nous explorons donc de nombreux nouveaux paradigmes possibles. Bien sûr, à un moment donné, nous essaierons de faire un modèle GPT-5, mais pas de sitôt. On ne sait pas exactement quand. Nous travaillons sur la robotique depuis le tout début d'OpenAI, et cela nous intéresse beaucoup, mais nous avons eu quelques difficultés. J'espère qu'un jour nous pourrons revenir dans ce domaine.
Zhang Hongjiang : Ça sonne bien. Vous avez également mentionné dans votre présentation comment vous utilisez GPT-4 pour expliquer le fonctionnement de GPT-2, ce qui rend le modèle plus sûr. Cette approche est-elle évolutive ? Est-ce la direction qu'OpenAI continuera d'avancer à l'avenir ?
Sam Altman : Nous continuerons à pousser dans cette direction.
Zhang Hongjiang : Pensez-vous que cette méthode peut être appliquée aux neurones biologiques ? Parce que la raison pour laquelle je pose cette question est qu'il y a des biologistes et des neuroscientifiques qui veulent utiliser cette méthode pour étudier et explorer le fonctionnement des neurones humains dans leur domaine.
Sam Altman : Il est beaucoup plus facile de voir ce qui se passe sur les neurones artificiels que sur les neurones biologiques. Je pense donc que cette approche est valable pour les réseaux de neurones artificiels. Je pense qu'il existe un moyen d'utiliser des modèles plus puissants pour nous aider à comprendre d'autres modèles. Mais je ne sais pas trop comment appliquer cette approche au cerveau humain.
Zhang Hongjiang : D'accord, merci. Maintenant que nous avons parlé de la sécurité de l'IA et du contrôle de l'AGI, l'une des questions dont nous avons discuté est la suivante : serait-il plus sûr s'il n'y avait que trois modèles dans le monde ? C'est comme le contrôle nucléaire, vous ne voulez pas que les armes nucléaires prolifèrent. Nous avons ce traité où nous essayons de contrôler le nombre de pays qui peuvent obtenir cette technologie. Le contrôle du nombre de modèles est-il donc une direction réalisable ?
Sam Altman : Je pense qu'il y a des opinions différentes sur la question de savoir s'il est plus sûr d'avoir un modèle minoritaire ou un modèle majoritaire dans le monde. Je pense que c'est plus important, avons-nous un système où tout modèle robuste est testé de manière adéquate pour la sécurité ? Avons-nous un cadre dans lequel quiconque crée un modèle suffisamment robuste a à la fois les ressources et la responsabilité de s'assurer que ce qu'il crée est sûr et aligné ?
Zhang Hongjiang : Lors de cette réunion d'hier, le professeur Max du MIT Future of Life Institute a mentionné une méthode possible, qui est similaire à la façon dont nous contrôlons le développement de médicaments. Lorsque des scientifiques ou des entreprises développent de nouveaux médicaments, vous ne pouvez pas les commercialiser directement. Vous devez passer par ce processus de test. Est-ce quelque chose dont nous pouvons apprendre?
Sam Altman : Je pense vraiment que nous pouvons apprendre beaucoup des cadres de licence et de test qui ont été développés dans différentes industries. Mais je pense que fondamentalement, nous avons quelque chose qui peut fonctionner.
Zhang Hongjiang : Merci beaucoup, Sam. Merci d'avoir pris le temps d'assister à cette réunion, bien que virtuellement. Je suis sûr qu'il y a beaucoup d'autres questions, mais compte tenu du temps, nous devons nous arrêter ici. J'espère que la prochaine fois que vous aurez l'occasion de venir en Chine, venez à Pékin, nous pourrons avoir une discussion plus approfondie. merci beaucoup.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Texte intégral du China Dialogue de Sam Altman : Nous devons être attentifs aux risques de l'IA, mais il est beaucoup plus facile de comprendre les réseaux de neurones que de comprendre ce que les gens pensent
Auteur｜Neil Shen
Source丨Pinwan
Le discours de Sam Altman a eu lieu au sous-forum sur la sécurité et l'alignement de l'IA de la conférence de Zhiyuan le 10 juin. La scène était pleine de sièges. Lorsque le PDG d'OpenAI est apparu à l'écran, il y a eu des applaudissements et presque tout le monde a levé son téléphone portable pour prendre des photos sur l'écran.
Mais Altman lui-même apparaît calme, voire prudent. C'est la première fois depuis que ChatGPT a suscité le boom mondial de l'IA l'année dernière que Sam Altman exprime publiquement ses opinions sur un fond chinois.
En fait, il se trouvait également non loin de la Chine ce jour-là : il venait d'arriver à Séoul et de rencontrer le président sud-coréen. Après son discours, il a également eu une séance de questions-réponses en tête-à-tête avec Zhang Hongjiang, président de l'Institut de recherche de Zhiyuan. Voici les principaux points et faits.
Points clés:
Au fur et à mesure que nous nous rapprochons de l'AGI dans la technologie, les effets et les pièges du désalignement augmenteront de façon exponentielle.
OpenAI utilise actuellement la technologie de rétroaction humaine d'apprentissage par renforcement pour s'assurer que les systèmes d'IA sont utiles et sûrs, et explore également de nouvelles technologies.L'une des idées est d'utiliser des systèmes d'IA pour aider les humains à superviser d'autres systèmes d'IA.
Les humains disposeront de puissants systèmes d'intelligence artificielle (IA) d'ici dix ans.
OpenAI n'a pas de nouveau calendrier open source pertinent, et bien qu'il reconnaisse que le modèle open source présente des avantages en matière de sécurité de l'IA, l'open source n'est peut-être pas la meilleure voie.
Il est beaucoup plus facile de comprendre un réseau de neurones qu'un cerveau humain.
La Chine possède les meilleurs talents en intelligence artificielle, et la sécurité de l'IA nécessite la participation et la contribution de chercheurs chinois.
Voici la transcription du discours :
Aujourd'hui, je veux parler de l'avenir. Plus précisément, le taux de croissance que nous constatons dans les capacités d'IA. Que devons-nous faire maintenant pour préparer le monde de manière responsable à leur introduction, l'histoire des sciences nous a appris que le progrès technologique suit une courbe exponentielle. On le voit déjà dans l'histoire, de l'agriculture et de l'industrie à la révolution informatique. Ce qui est stupéfiant avec l'intelligence artificielle, ce n'est pas seulement son impact, mais aussi la rapidité de ses progrès. Il repousse les limites de l'imagination humaine, et il le fait à un rythme rapide.
Imaginez qu'au cours de la prochaine décennie, les systèmes communément appelés intelligence artificielle générale (IAG) dépassent l'expertise humaine dans presque tous les domaines. Ces systèmes pourraient éventuellement dépasser la productivité collective de nos plus grandes entreprises. Il y a un énorme potentiel de hausse qui se cache ici. La révolution de l'IA créera une richesse partagée et permettra d'améliorer le niveau de vie de chacun, de relever des défis communs tels que le changement climatique et la sécurité sanitaire mondiale, et d'améliorer le bien-être de la société d'innombrables autres manières.
Je crois fermement en cet avenir, et pour le concrétiser et en profiter, nous devons investir collectivement dans la sécurité AGI et gérer les risques. Si nous ne faisons pas attention, un système AGI qui n'est pas adapté à son objectif pourrait saper l'ensemble du système de santé en faisant des recommandations infondées. De même, un système AGI conçu pour optimiser les pratiques agricoles peut épuiser par inadvertance les ressources naturelles ou endommager les écosystèmes, affectant la production alimentaire et l'équilibre environnemental en raison du manque de considération pour la durabilité à long terme.
J'espère que nous pourrons tous convenir que la promotion de la sécurité AGI est l'un de nos domaines les plus importants. Je veux concentrer le reste de mon discours sur où je pense que nous pouvons commencer.
Un domaine est la gouvernance de l'IAG, une technologie aux implications mondiales. Le coût des accidents résultant d'un développement et d'un déploiement imprudents nous affectera tous.
À cet égard, il y a deux éléments clés :
Premièrement, nous devons établir des normes et standards internationaux et, par le biais d'un processus inclusif, développer des protections égales et uniformes pour l'utilisation de l'IAG dans tous les pays. Dans le cadre de ces protections, nous croyons que les gens ont amplement la possibilité de faire leurs propres choix.
Deuxièmement, nous avons besoin d'une coopération internationale pour instaurer la confiance mondiale dans le développement sûr de systèmes d'IA de plus en plus puissants, de manière vérifiable. Ce n'est pas une tâche facile. Nous avons besoin d'une attention soutenue et critique en tant que communauté internationale pour bien faire cela. Le Tao Te King nous rappelle qu'un voyage de mille lieues commence par un seul pas. Nous pensons que la première étape la plus constructive à franchir ici est de travailler avec la communauté technologique internationale.
En particulier, nous devrions promouvoir des mécanismes pour une transparence accrue et le partage des connaissances concernant les avancées technologiques en matière de sécurité des AGI. Les chercheurs qui découvrent des problèmes de sécurité émergents devraient partager leurs idées pour le plus grand bien. Nous devons réfléchir attentivement à la manière dont nous pouvons encourager de telles normes tout en respectant et en protégeant les droits de propriété intellectuelle.
Si nous le faisons bien, cela nous ouvrira de nouvelles portes pour approfondir notre coopération. Plus généralement, nous devrions investir, faciliter et orienter les investissements dans le ciblage et la recherche sur la sécurité.
Chez OpenAI, nos recherches ciblées se concentrent aujourd'hui sur des questions techniques sur la manière de faire en sorte que les systèmes d'IA agissent comme des assistants utiles et sûrs dans nos systèmes actuels. Cela pourrait signifier, comment formons-nous ChatGPT afin qu'il ne fasse pas de menaces de violence ou n'aide pas les utilisateurs dans des activités nuisibles.
Mais à mesure que nous nous rapprochons de l'AGI, l'impact potentiel et l'ampleur de toute non-conformité augmenteront de façon exponentielle. Pour relever ces défis à l'avance, nous nous efforçons de minimiser le risque de résultats futurs catastrophiques. Pour le système actuel, nous utilisons principalement l'apprentissage par renforcement à partir de la rétroaction humaine pour entraîner notre modèle à agir comme un assistant utile et sûr.
Ceci est un exemple de technique de cible post-formation, et nous sommes également occupés à en développer de nouvelles. Il faut beaucoup de travail d'ingénierie pour bien faire cela. Il nous a fallu 8 mois pour le faire à partir du moment où GPT-4 a terminé la pré-formation jusqu'à son déploiement. Dans l'ensemble, nous pensons que nous sommes sur la bonne voie ici. Le GPT-4 correspond mieux à la cible que n'importe lequel de nos modèles précédents.
Cependant, le ciblage reste un problème ouvert pour les systèmes plus avancés, ce qui, selon nous, nécessitera de nouvelles approches techniques, ainsi qu'une gouvernance et une surveillance accrues. Imaginez un système AGI futuriste proposant 100 000 lignes de code binaire. Il est peu probable que les superviseurs humains détectent si un tel modèle fait quelque chose de néfaste.
Nous investissons donc dans des directions de recherche nouvelles et complémentaires qui, nous l'espérons, mèneront à des percées. L'un est la supervision évolutive. Nous pouvons essayer d'utiliser des systèmes d'IA pour aider les humains à superviser d'autres systèmes d'IA. Par exemple, nous pouvons former un modèle pour aider les superviseurs humains à repérer les défauts dans la sortie d'autres modèles. La seconde est l'interprétabilité. Nous voulions essayer de mieux comprendre ce qui se passe à l'intérieur de ces modèles.
Nous avons récemment publié un article utilisant GPT-4 pour interpréter les neurones dans GPT-2. Dans un autre article, nous utilisons les internes du modèle pour détecter quand le modèle ment. Bien que nous ayons encore un long chemin à parcourir, nous pensons que les techniques avancées d'apprentissage automatique peuvent encore améliorer notre capacité à générer des explications.
En fin de compte, notre objectif est de former des systèmes d'IA pour aider à cibler la recherche elle-même. Un aspect prometteur de cette approche est qu'elle s'adapte au rythme du développement de l'IA. Au fur et à mesure que les futurs modèles deviendront de plus en plus intelligents et utiles en tant qu'assistants, nous trouverons de meilleures techniques qui réalisent les avantages extraordinaires de l'IAG tout en atténuant les risques, l'un des défis les plus importants de notre époque.
Voici la transcription de la conversation :
Zhang Hongjiang : À quelle distance sommes-nous de l'intelligence artificielle ? Le risque est-il urgent ou en sommes-nous loin ? Qu'il s'agisse d'une IA sûre ou d'une IA potentiellement dangereuse.
Sam Altman : Ce problème est difficile à prévoir avec précision car il nécessite de nouvelles idées de recherche qui ne se développent pas toujours selon le calendrier prescrit. Cela peut arriver rapidement ou cela peut prendre plus de temps. Je pense qu'il est difficile de prédire avec certitude. Mais je pense que dans la prochaine décennie, nous aurons peut-être des systèmes d'IA très puissants. Dans un tel monde, je pense qu'il est important et urgent de résoudre ce problème, c'est pourquoi j'appelle la communauté internationale à travailler ensemble pour résoudre ce problème. L'histoire nous donne quelques exemples de nouvelles technologies qui changent le monde plus rapidement que beaucoup ne l'imaginent. L'impact et l'accélération de ces systèmes que nous constatons actuellement sont en un sens sans précédent. Je pense donc qu'il est très logique de se préparer à ce que cela se produise le plus tôt possible et d'aborder les aspects de sécurité, compte tenu de leur impact et de leur importance.
Zhang Hongjiang : Ressentez-vous un sentiment d'urgence ?
Sam Altman : Oui, je le sens. Je tiens à souligner que nous ne savons pas vraiment. Et la définition de l'intelligence artificielle est différente, mais je pense que dans dix ans, nous devrions être prêts pour un monde avec des systèmes très puissants.
Zhang Hongjiang : Vous avez également mentionné plusieurs coopérations mondiales dans votre discours tout à l'heure. Nous savons que le monde a été confronté à de nombreuses crises au cours des six ou sept dernières décennies. Mais pour bon nombre de ces crises, nous avons réussi à établir un consensus et une coopération mondiale. Vous aussi, faites une tournée mondiale. Quel type de collaboration mondiale encouragez-vous ? Que pensez-vous des commentaires que vous avez reçus jusqu'à présent ?
Sam Altman : Oui, je suis très satisfait des retours que j'ai reçus jusqu'à présent. Je pense que les gens prennent très au sérieux les risques et les opportunités présentés par l'IA. Je pense que la discussion à ce sujet a parcouru un long chemin au cours des six derniers mois. Les gens travaillent vraiment à trouver un cadre dans lequel nous pouvons profiter de ces avantages tout en travaillant ensemble pour atténuer les risques. Je pense que nous sommes très bien placés pour le faire. La coopération mondiale est toujours difficile, mais je la vois comme une opportunité et une menace qui peut rassembler le monde. Il serait très utile que nous puissions développer des cadres et des normes de sécurité pour guider le développement de ces systèmes.
Zhang Hongjiang : Sur ce sujet particulier, vous avez mentionné que l'alignement des systèmes avancés d'intelligence artificielle est un problème non résolu. J'ai aussi remarqué qu'Open AI y a mis beaucoup d'efforts ces dernières années. Vous avez également mentionné GPT-4 comme le meilleur exemple en termes d'alignement. Pensez-vous que nous pouvons résoudre les problèmes de sécurité de l'IA grâce à l'alignement ? Ou ce problème est-il plus important que l'alignement ?
Sam Altman : Je pense qu'il y a différentes utilisations du mot alignement. Je pense que ce que nous devons relever, c'est tout le défi de la mise en place de systèmes d'IA sûrs. L'alignement a traditionnellement consisté à faire en sorte que le modèle se comporte comme l'utilisateur le souhaite, et cela en fait certainement partie. Mais il y a d'autres questions auxquelles nous devons répondre, comme comment nous vérifions que les systèmes font ce que nous voulons qu'ils fassent, et sur quelles valeurs nous alignons les systèmes. Mais je pense qu'il est important d'avoir une vue d'ensemble de ce qui est nécessaire pour parvenir à une IA sûre.
Zhang Hongjiang : Oui, l'alignement est toujours le cas. Si nous regardons ce que GPT-4 a fait, pour la plupart, c'est toujours d'un point de vue technique. Mais il y a bien d'autres facteurs que la technologie. C'est une question très complexe. Souvent, les problèmes complexes sont systémiques. La sécurité de l'IA ne fait peut-être pas exception. Outre les aspects techniques, quels autres facteurs et problèmes pensez-vous être essentiels à la sécurité de l'IA ? Comment répondre à ces défis ? D'autant plus que la plupart d'entre nous sont des scientifiques, que sommes-nous censés faire ?
Sam Altman : C'est bien sûr une question très complexe. Je dirais que sans solution technique, tout le reste est difficile. Je pense qu'il est vraiment important de mettre l'accent sur les aspects techniques de la sécurité. Comme je l'ai mentionné, ce n'est pas un problème technique de déterminer sur quelles valeurs nous voulons aligner le système. Il a besoin d'un apport technique, mais c'est une question qui nécessite une discussion approfondie par l'ensemble de la société. Nous devons concevoir des systèmes équitables, représentatifs et inclusifs. Et, comme vous l'avez souligné, nous devons considérer non seulement la sécurité du modèle d'IA lui-même, mais la sécurité de l'ensemble du système. Il est donc également important de créer des classificateurs et des détecteurs de sécurité qui peuvent s'exécuter au-dessus du modèle et surveiller la conformité aux politiques d'utilisation. Et puis, je pense aussi qu'il est difficile de prédire à l'avance ce qui ne va pas avec n'importe quelle technologie. Alors apprenez du monde réel et déployez-le de manière itérative, voyez ce qui se passe lorsque vous mettez le modèle dans le monde réel, et améliorez-le, et donnez aux gens et à la société le temps d'apprendre et de se mettre à jour, et réfléchissez à la façon dont ces modèles seront utilisés pour de bon et affecter leur vie de manière négative. Ceci est également très important.
Zhang Hongjiang : Vous venez de mentionner la coopération mondiale. Vous avez visité de nombreux pays et vous avez mentionné la Chine. Mais pouvez-vous partager certains des résultats que vous avez obtenus en termes de collaboration ? Quels plans ou idées avez-vous pour les prochaines étapes ? De ce tour du monde, de vos interactions avec divers gouvernements, institutions, institutions ?
Sam Altman : Je pense que beaucoup de perspectives différentes et la sécurité de l'IA sont généralement nécessaires. Nous n'avons pas encore toutes les réponses, et c'est une question plutôt difficile et importante.
De plus, comme mentionné, ce n'est pas une question purement technique de rendre l'IA sûre et bénéfique. Implique de comprendre les préférences des utilisateurs dans différents pays dans des contextes très différents. Nous avons besoin de beaucoup d'apports différents pour y arriver. La Chine possède certains des meilleurs talents en IA au monde. Fondamentalement, je pense que les meilleurs esprits du monde entier sont nécessaires pour résoudre la difficulté d'aligner les systèmes d'IA avancés. J'espère donc vraiment que les chercheurs chinois en IA pourront apporter de grandes contributions ici.
Zhang Hongjiang : Je comprends que le forum d'aujourd'hui porte sur la sécurité de l'IA, car les gens sont très curieux à propos d'OpenAI, donc j'ai beaucoup de questions sur OpenAI, pas seulement sur la sécurité de l'IA. J'ai une question du public ici, y a-t-il un plan pour OpenAI de rouvrir ses modèles comme il le faisait avant la version 3.0 ? Je pense aussi que l'open source est bon pour la sécurité de l'IA.
Sam Altman : Certains de nos modèles sont open source et d'autres non, mais avec le temps, je pense que vous devriez vous attendre à ce que nous continuions à ouvrir davantage de modèles à l'avenir. Je n'ai pas de modèle ou de calendrier précis, mais c'est quelque chose dont nous discutons en ce moment.
Zhang Hongjiang : Nous avons mis tous nos efforts dans l'open source, y compris le modèle lui-même, les algorithmes pour développer le modèle et les outils pour optimiser la relation entre le modèle et les données. Nous croyons en la nécessité de partager et de donner aux utilisateurs le sentiment de contrôler ce qu'ils utilisent. Avez-vous des retours similaires ? Ou est-ce ce dont vous discutez dans OpenAI ?
Sam Altman : Oui, je pense que l'open source a un rôle important d'une certaine manière. De nombreux nouveaux modèles open source ont également fait leur apparition récemment. Je pense que le modèle d'API a également un rôle important. Il nous fournit des contrôles de sécurité supplémentaires. Vous pouvez bloquer certaines utilisations. Vous pouvez bloquer certains types de réglages. Si quelque chose ne fonctionne pas, vous pouvez le reprendre. A l'échelle du modèle actuel, je ne suis pas trop inquiet à ce sujet. Mais au fur et à mesure que le modèle devient aussi puissant que nous l'attendons, si nous avons raison, je pense que l'open source n'est peut-être pas la meilleure voie, même si parfois c'est juste. Je pense que nous devons simplement équilibrer cela avec soin.
Zhang Hongjiang : La question de suivi sur GPT-4 et la sécurité de l'IA est la suivante : devons-nous modifier l'ensemble de l'infrastructure ou l'architecture de l'ensemble du modèle AGI pour le rendre plus sûr et plus facile à vérifier ? Que pensez-vous de ceci?
Sam Altman : C'est tout à fait possible, nous avons besoin d'architectures très différentes, à la fois en termes de capacités et de sécurité. Je pense que nous allons pouvoir faire des progrès dans l'explicabilité, sur les types de modèles actuels, et qu'ils nous expliquent mieux ce qu'ils font et pourquoi. Mais cela ne me surprendrait pas s'il y avait un autre pas de géant après les transformateurs. Et effectivement on est déjà dans le transformateur d'origine, l'architecture a beaucoup changé.
Zhang Hongjiang : En tant que chercheur, je suis également curieux de savoir quelle est la prochaine direction de la recherche AGI ? En termes de grands modèles, de grands modèles de langage, verrons-nous bientôt GPT-5 ? La prochaine frontière est-elle celle des modèles incarnés ? La robotique autonome est-elle un domaine qu'OpenAI est ou envisage d'explorer ?
Sam Altman : Je suis également curieux de savoir ce qui va suivre, et l'une des choses que je préfère dans ce travail est qu'il y a beaucoup d'excitation et de surprise à la pointe de la recherche. Nous n'avons pas encore les réponses, nous explorons donc de nombreux nouveaux paradigmes possibles. Bien sûr, à un moment donné, nous essaierons de faire un modèle GPT-5, mais pas de sitôt. On ne sait pas exactement quand. Nous travaillons sur la robotique depuis le tout début d'OpenAI, et cela nous intéresse beaucoup, mais nous avons eu quelques difficultés. J'espère qu'un jour nous pourrons revenir dans ce domaine.
Zhang Hongjiang : Ça sonne bien. Vous avez également mentionné dans votre présentation comment vous utilisez GPT-4 pour expliquer le fonctionnement de GPT-2, ce qui rend le modèle plus sûr. Cette approche est-elle évolutive ? Est-ce la direction qu'OpenAI continuera d'avancer à l'avenir ?
Sam Altman : Nous continuerons à pousser dans cette direction.
Zhang Hongjiang : Pensez-vous que cette méthode peut être appliquée aux neurones biologiques ? Parce que la raison pour laquelle je pose cette question est qu'il y a des biologistes et des neuroscientifiques qui veulent utiliser cette méthode pour étudier et explorer le fonctionnement des neurones humains dans leur domaine.
Sam Altman : Il est beaucoup plus facile de voir ce qui se passe sur les neurones artificiels que sur les neurones biologiques. Je pense donc que cette approche est valable pour les réseaux de neurones artificiels. Je pense qu'il existe un moyen d'utiliser des modèles plus puissants pour nous aider à comprendre d'autres modèles. Mais je ne sais pas trop comment appliquer cette approche au cerveau humain.
Zhang Hongjiang : D'accord, merci. Maintenant que nous avons parlé de la sécurité de l'IA et du contrôle de l'AGI, l'une des questions dont nous avons discuté est la suivante : serait-il plus sûr s'il n'y avait que trois modèles dans le monde ? C'est comme le contrôle nucléaire, vous ne voulez pas que les armes nucléaires prolifèrent. Nous avons ce traité où nous essayons de contrôler le nombre de pays qui peuvent obtenir cette technologie. Le contrôle du nombre de modèles est-il donc une direction réalisable ?
Sam Altman : Je pense qu'il y a des opinions différentes sur la question de savoir s'il est plus sûr d'avoir un modèle minoritaire ou un modèle majoritaire dans le monde. Je pense que c'est plus important, avons-nous un système où tout modèle robuste est testé de manière adéquate pour la sécurité ? Avons-nous un cadre dans lequel quiconque crée un modèle suffisamment robuste a à la fois les ressources et la responsabilité de s'assurer que ce qu'il crée est sûr et aligné ?
Zhang Hongjiang : Lors de cette réunion d'hier, le professeur Max du MIT Future of Life Institute a mentionné une méthode possible, qui est similaire à la façon dont nous contrôlons le développement de médicaments. Lorsque des scientifiques ou des entreprises développent de nouveaux médicaments, vous ne pouvez pas les commercialiser directement. Vous devez passer par ce processus de test. Est-ce quelque chose dont nous pouvons apprendre?
Sam Altman : Je pense vraiment que nous pouvons apprendre beaucoup des cadres de licence et de test qui ont été développés dans différentes industries. Mais je pense que fondamentalement, nous avons quelque chose qui peut fonctionner.
Zhang Hongjiang : Merci beaucoup, Sam. Merci d'avoir pris le temps d'assister à cette réunion, bien que virtuellement. Je suis sûr qu'il y a beaucoup d'autres questions, mais compte tenu du temps, nous devons nous arrêter ici. J'espère que la prochaine fois que vous aurez l'occasion de venir en Chine, venez à Pékin, nous pourrons avoir une discussion plus approfondie. merci beaucoup.