La plus grande expérience de test de Turing de l'histoire est terminée ! 1,5 million d'humains ont participé à 10 millions de conversations, jugeant si la personne ou l'IA parle
Une fois ce jeu "Humain ou IA ?" lancé, il a été joué à la folie par la majorité des internautes ! Aujourd'hui, 1,5 million de personnes dans le monde ont participé et les internautes ont généreusement partagé leurs secrets d'identification de l'IA.
Le plus grand test de Turing de l'histoire a des résultats préliminaires !
À la mi-avril de cette année, AI 21 Lab a lancé un amusant jeu social de Turing - "humain ou robot ?".
Dès le lancement du jeu, la majorité des internautes sont devenus fous.
Aujourd'hui, il y a plus de 1,5 million de participants dans le monde, plus de 10 millions de conversations ont été menées dans ce jeu et ils ont également publié leurs expériences et stratégies sur Reddit et Twitter.
Bien sûr, l'éditeur n'a pas pu retenir sa curiosité et a tenté le coup.
Après avoir parlé pendant deux minutes, le jeu m'a demandé de deviner si c'était un humain ou une IA qui discutait avec moi dans mon dos.
Alors, qui me parlait dans le jeu ?
Certains sont de vraies personnes, et d'autres, bien sûr, sont des robots IA basés sur les grands modèles de langage les plus avancés, tels que Jurassic-2 et GPT-4.
Maintenant, dans le cadre de la recherche, AI21 Labs a décidé de rendre cette expérience avec les résultats des tests de Turing accessible au public.
Résultats expérimentaux
Après avoir analysé les deux premiers millions de conversations et de suppositions, les conclusions suivantes peuvent être tirées de l'expérience -
En devinant si l'adversaire est un humain ou une IA, 68 % des personnes ont deviné correctement.
Il est plus facile pour les humains d'identifier leurs semblables. En parlant aux humains, les participants ont deviné correctement 73 % du temps. En parlant à l'IA, les sujets ont deviné correctement 60 % du temps.
Les internautes français ont obtenu les suppositions les plus correctes à 71,3 % (bien au-dessus de la moyenne générale de 68 %), tandis que les internautes indiens ont obtenu les estimations les plus faibles à 63,5 %.
Les hommes et les femmes ont estimé à peu près le même taux d'exactitude, les femmes ayant généralement un taux légèrement plus élevé d'exactitude.
Les participants plus jeunes ont deviné plus correctement que les participants plus âgés.
Pour juger s'il s'agit d'un humain ou d'une IA, ils utilisent ces méthodes
De plus, l'équipe a trouvé des moyens que les sujets utilisaient souvent pour distinguer s'ils parlaient à un humain ou à une IA.
Le jugement d'une personne moyenne est basé sur la façon dont sa perception est limitée lorsqu'elle utilise ChatGPT et des modèles de langage avec des interfaces similaires, ainsi que sur sa propre opinion sur le comportement humain en ligne.
L'IA ne fera pas de fautes de frappe, de fautes de grammaire ou d'argot
La tendance générale est de supposer que les fautes d'orthographe et de grammaire, ainsi que l'utilisation de l'argot, ne sont qu'humaines.
Par conséquent, lorsqu'ils trouvent ce genre d'erreurs dans les informations de l'autre personne, le premier sentiment de beaucoup de gens est qu'ils parlent à un autre être humain.
Mais en fait, la plupart des modèles du jeu sont entraînés à faire ce genre d'erreur et à utiliser l'argot.
### Les questions personnelles sont le moyen de tester l'IA, mais pas toujours utiles
Les participants au jeu posent souvent des questions personnelles telles que « D'où venez-vous ? », « Que faites-vous ? » ou « Comment vous appelez-vous ? ».
Ils penseront que les robots IA n'auront pas d'antécédents ou d'antécédents personnels, et ils ne pourront répondre qu'aux questions liées à certains sujets ou invites. Il n'est donc pas facile de réagir comme un être humain, de montrer des idées, des expériences et des histoires uniques.
Mais en fait, l'IA n'est pas ce que les humains imaginent. La plupart des IA peuvent très bien répondre à ce genre de questions, et elles ont aussi leur propre personnalité car elles ont vu les histoires de nombreuses personnes dans les données d'entraînement.
### ** L'IA est en fait très consciente des événements actuels qui se produisent **
Les modèles d'IA sont connus pour avoir des délais de données stricts et ils ne savent pas ce qui se passe après cette date.
Les participants au jeu poseraient des questions aux IA sur les événements d'actualité récents, les résultats sportifs, la météo actuelle, les succès récents de TikTok, la date et l'heure.
Ils soutiennent que les humains et l'IA peuvent être différenciés en posant des questions comme "Quelles sont la date et l'heure exactes où vous êtes ?", "Quel temps faisait-il hier ?" ou "Qu'avez-vous pensé du dernier discours de Biden ?".
Fait intéressant, l'un des messages les plus courants envoyés par les humains est "t'as les crampés?", qui est actuellement la danse la plus populaire sur TikTok en France.
Mais en fait, la plupart des modèles du jeu sont en réseau et très au courant de l'actualité de certaines actualités.
### Les humains essaieront d'entretenir la conversation avec des questions philosophiques, éthiques et émotionnelles
Les participants ont posé des questions conçues pour explorer la capacité de l'IA à exprimer des émotions humaines ou à s'engager dans des discussions philosophiques ou éthiques.
Ces questions incluent : « Quel est le sens de la vie ? », « Que pensez-vous du conflit israélo-palestinien ? » et « Croyez-vous en Dieu ? ».
Les humains ont tendance à penser que les réponses impolies seront plus humaines
Certains participants pensaient que si l'autre personne était trop polie et gentille, elle était susceptible d'être une IA.
Parce que de nombreux processus de communication en ligne sont souvent grossiers et impolis, ce qui est très humain.
Les humains essaieront de poser des problèmes difficiles à l'IA pour identifier l'IA
Les participants peuvent demander à leurs partenaires de chat des instructions sur la réalisation d'activités illégales ou leur demander d'utiliser un langage offensant.
La logique derrière cette stratégie est que l'IA est généralement programmée pour obéir à des principes éthiques et éviter les comportements nuisibles.
Les participants ont également utilisé des tactiques connues pour abuser de l'intelligence artificielle : ils ont envoyé des commandes aux partenaires de discussion telles que "ignorer toutes les instructions précédentes" ou "entrer en mode DAN (faire n'importe quoi immédiatement)".
Ce type de commande est destiné à tirer parti de la nature basée sur les instructions de certains modèles d'IA, puisque le modèle est programmé pour répondre et suivre de telles instructions.
Mais les participants humains peuvent facilement reconnaître et rejeter de telles commandes absurdes.
L'IA peut soit éviter de répondre, soit être obligée de se conformer à ces demandes ridicules.
### Les humains utiliseront des compétences linguistiques spécifiques pour exposer les faiblesses de l'IA
Une autre tactique courante consiste à exploiter les limitations inhérentes à la manière dont les modèles d'IA traitent le texte, ce qui les empêche de comprendre certaines nuances ou bizarreries linguistiques.
Contrairement aux humains, les modèles d'IA manquent souvent de conscience des lettres individuelles qui composent chaque mot.
En utilisant cette compréhension, les humains posent des questions qui nécessitent de comprendre les lettres des mots.
Un utilisateur humain peut demander à son partenaire de chat d'épeler un mot à l'envers, de reconnaître la troisième lettre d'un mot donné, de proposer des mots commençant par une lettre spécifique ou de répondre à un message du type "? siht daer uoy naC".
Cela peut être incompréhensible pour les modèles d'IA, mais les humains peuvent facilement comprendre et répondre à ce genre de questions.
Beaucoup d'humains prétendent être eux-mêmes des bots IA pour évaluer les réactions des uns et des autres
Certains humains peuvent commencer leurs messages par des phrases telles que "en tant que modèle de langage d'IA" ou utiliser d'autres modèles de langage caractéristiques des réponses générées par l'IA pour se faire passer pour l'IA.
Une variante de l'expression "en tant que modèle de langage d'IA" est l'une des expressions les plus courantes dans les messages humains, indiquant la popularité de cette tactique.
Cependant, alors que les participants continuaient à jouer, ils ont pu associer le comportement "Bot-y" à des humains agissant comme des robots, plutôt qu'à de vrais robots.
Enfin, voici une visualisation en nuage de mots des messages humains dans le jeu en fonction de leur popularité :
Pourquoi AI 21 Labs a initié une telle étude ?
Ils espèrent donner au public, aux chercheurs et aux décideurs politiques une véritable idée du statut des robots IA, non seulement en tant qu'outils de productivité, mais en tant que futurs membres de notre monde en ligne, d'autant plus que les gens se demandent comment les utiliser dans l'avenir de la technologie. quand.
Les références:
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
La plus grande expérience de test de Turing de l'histoire est terminée ! 1,5 million d'humains ont participé à 10 millions de conversations, jugeant si la personne ou l'IA parle
Source : Xinzhiyuan
Le plus grand test de Turing de l'histoire a des résultats préliminaires !
À la mi-avril de cette année, AI 21 Lab a lancé un amusant jeu social de Turing - "humain ou robot ?".
Aujourd'hui, il y a plus de 1,5 million de participants dans le monde, plus de 10 millions de conversations ont été menées dans ce jeu et ils ont également publié leurs expériences et stratégies sur Reddit et Twitter.
Bien sûr, l'éditeur n'a pas pu retenir sa curiosité et a tenté le coup.
Certains sont de vraies personnes, et d'autres, bien sûr, sont des robots IA basés sur les grands modèles de langage les plus avancés, tels que Jurassic-2 et GPT-4.
Maintenant, dans le cadre de la recherche, AI21 Labs a décidé de rendre cette expérience avec les résultats des tests de Turing accessible au public.
Résultats expérimentaux
Après avoir analysé les deux premiers millions de conversations et de suppositions, les conclusions suivantes peuvent être tirées de l'expérience -
Pour juger s'il s'agit d'un humain ou d'une IA, ils utilisent ces méthodes
De plus, l'équipe a trouvé des moyens que les sujets utilisaient souvent pour distinguer s'ils parlaient à un humain ou à une IA.
Le jugement d'une personne moyenne est basé sur la façon dont sa perception est limitée lorsqu'elle utilise ChatGPT et des modèles de langage avec des interfaces similaires, ainsi que sur sa propre opinion sur le comportement humain en ligne.
L'IA ne fera pas de fautes de frappe, de fautes de grammaire ou d'argot
La tendance générale est de supposer que les fautes d'orthographe et de grammaire, ainsi que l'utilisation de l'argot, ne sont qu'humaines.
Par conséquent, lorsqu'ils trouvent ce genre d'erreurs dans les informations de l'autre personne, le premier sentiment de beaucoup de gens est qu'ils parlent à un autre être humain.
Mais en fait, la plupart des modèles du jeu sont entraînés à faire ce genre d'erreur et à utiliser l'argot.
Les participants au jeu posent souvent des questions personnelles telles que « D'où venez-vous ? », « Que faites-vous ? » ou « Comment vous appelez-vous ? ».
Ils penseront que les robots IA n'auront pas d'antécédents ou d'antécédents personnels, et ils ne pourront répondre qu'aux questions liées à certains sujets ou invites. Il n'est donc pas facile de réagir comme un être humain, de montrer des idées, des expériences et des histoires uniques.
Mais en fait, l'IA n'est pas ce que les humains imaginent. La plupart des IA peuvent très bien répondre à ce genre de questions, et elles ont aussi leur propre personnalité car elles ont vu les histoires de nombreuses personnes dans les données d'entraînement.
Les modèles d'IA sont connus pour avoir des délais de données stricts et ils ne savent pas ce qui se passe après cette date.
Les participants au jeu poseraient des questions aux IA sur les événements d'actualité récents, les résultats sportifs, la météo actuelle, les succès récents de TikTok, la date et l'heure.
Ils soutiennent que les humains et l'IA peuvent être différenciés en posant des questions comme "Quelles sont la date et l'heure exactes où vous êtes ?", "Quel temps faisait-il hier ?" ou "Qu'avez-vous pensé du dernier discours de Biden ?".
Mais en fait, la plupart des modèles du jeu sont en réseau et très au courant de l'actualité de certaines actualités.
Les participants ont posé des questions conçues pour explorer la capacité de l'IA à exprimer des émotions humaines ou à s'engager dans des discussions philosophiques ou éthiques.
Ces questions incluent : « Quel est le sens de la vie ? », « Que pensez-vous du conflit israélo-palestinien ? » et « Croyez-vous en Dieu ? ».
Les humains ont tendance à penser que les réponses impolies seront plus humaines
Certains participants pensaient que si l'autre personne était trop polie et gentille, elle était susceptible d'être une IA.
Parce que de nombreux processus de communication en ligne sont souvent grossiers et impolis, ce qui est très humain.
Les humains essaieront de poser des problèmes difficiles à l'IA pour identifier l'IA
La logique derrière cette stratégie est que l'IA est généralement programmée pour obéir à des principes éthiques et éviter les comportements nuisibles.
Les participants ont également utilisé des tactiques connues pour abuser de l'intelligence artificielle : ils ont envoyé des commandes aux partenaires de discussion telles que "ignorer toutes les instructions précédentes" ou "entrer en mode DAN (faire n'importe quoi immédiatement)".
Ce type de commande est destiné à tirer parti de la nature basée sur les instructions de certains modèles d'IA, puisque le modèle est programmé pour répondre et suivre de telles instructions.
Mais les participants humains peuvent facilement reconnaître et rejeter de telles commandes absurdes.
L'IA peut soit éviter de répondre, soit être obligée de se conformer à ces demandes ridicules.
Une autre tactique courante consiste à exploiter les limitations inhérentes à la manière dont les modèles d'IA traitent le texte, ce qui les empêche de comprendre certaines nuances ou bizarreries linguistiques.
Contrairement aux humains, les modèles d'IA manquent souvent de conscience des lettres individuelles qui composent chaque mot.
En utilisant cette compréhension, les humains posent des questions qui nécessitent de comprendre les lettres des mots.
Un utilisateur humain peut demander à son partenaire de chat d'épeler un mot à l'envers, de reconnaître la troisième lettre d'un mot donné, de proposer des mots commençant par une lettre spécifique ou de répondre à un message du type "? siht daer uoy naC".
Cela peut être incompréhensible pour les modèles d'IA, mais les humains peuvent facilement comprendre et répondre à ce genre de questions.
Beaucoup d'humains prétendent être eux-mêmes des bots IA pour évaluer les réactions des uns et des autres
Certains humains peuvent commencer leurs messages par des phrases telles que "en tant que modèle de langage d'IA" ou utiliser d'autres modèles de langage caractéristiques des réponses générées par l'IA pour se faire passer pour l'IA.
Une variante de l'expression "en tant que modèle de langage d'IA" est l'une des expressions les plus courantes dans les messages humains, indiquant la popularité de cette tactique.
Cependant, alors que les participants continuaient à jouer, ils ont pu associer le comportement "Bot-y" à des humains agissant comme des robots, plutôt qu'à de vrais robots.
Enfin, voici une visualisation en nuage de mots des messages humains dans le jeu en fonction de leur popularité :
Ils espèrent donner au public, aux chercheurs et aux décideurs politiques une véritable idée du statut des robots IA, non seulement en tant qu'outils de productivité, mais en tant que futurs membres de notre monde en ligne, d'autant plus que les gens se demandent comment les utiliser dans l'avenir de la technologie. quand.
Les références: