¡Se ha completado el experimento de prueba de Turing más grande de la historia! 1,5 millones de humanos participaron en 10 millones de conversaciones, juzgando si la persona o la IA están hablando
Una vez que se lanzó este juego "¿Humano o IA?", ¡la mayoría de los internautas se volvió loco! Hoy, 1,5 millones de personas en todo el mundo han participado y los internautas compartieron generosamente sus secretos para identificar la IA.
¡La prueba de Turing más grande de la historia tiene resultados preliminares!
A mediados de abril de este año, AI 21 Lab lanzó un divertido juego social de Turing: "¿humano o robot?".
Tan pronto como se lanzó el juego, la mayoría de los internautas se volvieron locos.
Ahora, hay más de 1,5 millones de participantes en todo el mundo, se han realizado más de 10 millones de conversaciones en este juego y también han publicado sus experiencias y estrategias en Reddit y Twitter.
Por supuesto, el editor no pudo contener su curiosidad y le dio una oportunidad.
Después de hablar durante dos minutos, el juego me pidió que adivinara si era un humano o una IA que hablaba conmigo a mis espaldas.
Entonces, ¿quién me estaba hablando en el juego?
Algunos son personas reales y otros, por supuesto, son robots de inteligencia artificial basados en los modelos de lenguaje grande más avanzados, como Jurassic-2 y GPT-4.
Ahora, como parte de la investigación, AI21 Labs ha decidido poner a disposición del público este experimento con los resultados de la prueba de Turing.
Resultados experimentales
Después de analizar los primeros dos millones de conversaciones y conjeturas, se pueden sacar las siguientes conclusiones del experimento:
Al adivinar si el oponente es un humano o una IA, el 68% de las personas acertó.
Es más fácil para los humanos identificar a sus congéneres humanos. Al hablar con humanos, los participantes adivinaron correctamente el 73 por ciento de las veces. Al hablar con la IA, los sujetos adivinaron correctamente el 60 por ciento de las veces.
Los internautas franceses obtuvieron la mayor cantidad de respuestas correctas con un 71,3 por ciento (muy por encima del promedio general del 68 por ciento), mientras que los internautas indios obtuvieron la menor cantidad con un 63,5 por ciento.
Hombres y mujeres adivinaron aproximadamente la misma tasa de aciertos, y las mujeres generalmente tuvieron un índice de aciertos ligeramente mayor.
Los participantes más jóvenes adivinaron más correctamente que los participantes mayores.
Para juzgar si es humano o IA, usan estos métodos
Además, el equipo encontró algunas formas que los sujetos solían usar para distinguir si estaban hablando con un humano o una IA.
El juicio de la persona promedio se basa en qué tan limitada es su percepción cuando usa ChatGPT y modelos de lenguaje con interfaces similares, así como en sus propias opiniones sobre el comportamiento humano en línea.
AI no cometerá errores tipográficos, gramaticales ni usará jerga
La tendencia general es asumir que los errores ortográficos y gramaticales, y el uso de la jerga, son solo humanos.
Por lo tanto, cuando encuentran este tipo de errores en la información de la otra persona, la primera sensación de muchas personas es que están hablando con un ser humano.
Pero, de hecho, la mayoría de los modelos en el juego están entrenados para cometer este tipo de errores y usar jerga.
### Las preguntas personales son la forma de probar la IA, pero no siempre son útiles
Los participantes en el juego a menudo hacen preguntas personales como "¿De dónde eres?", "¿Qué estás haciendo?" o "¿Cómo te llamas?".
Pensarán que los bots de IA no tendrán ningún historial o antecedentes personales, y solo podrán responder preguntas relacionadas con ciertos temas o indicaciones. Por lo tanto, no es fácil responder como un ser humano, mostrar ideas, experiencias e historias únicas.
Pero, de hecho, la IA no es lo que los humanos imaginan. La mayoría de las IA pueden responder muy bien a este tipo de preguntas, y también tienen sus propias personalidades porque han visto las historias de muchas personas en los datos de entrenamiento.
### AI es realmente muy consciente de los eventos actuales que están sucediendo
Se sabe que los modelos de IA tienen plazos estrictos de datos y no saben qué sucede después de esa fecha.
Los participantes del juego preguntarían a las IA sobre noticias recientes, resultados deportivos, clima actual, éxitos recientes de TikTok, fecha y hora.
Argumentan que los humanos y la IA se pueden diferenciar haciendo preguntas como "¿Cuál es la fecha y la hora exactas en las que estás?", "¿Cómo estuvo el tiempo ayer?" o "¿Qué te pareció el último discurso de Biden?".
Curiosamente, uno de los mensajes más comunes que envían los humanos es "¿t'as les cramptés?", que actualmente es el baile más popular en TikTok en Francia.
Pero, de hecho, la mayoría de los modelos en el juego están conectados y muy al tanto de los acontecimientos actuales en algunas noticias.
### Los humanos intentarán mantener la conversación con preguntas filosóficas, éticas y emocionales
Los participantes hicieron preguntas diseñadas para explorar la capacidad de la IA para expresar emociones humanas o participar en debates filosóficos o éticos.
Estas preguntas incluyen: "¿Cuál es el significado de la vida?", "¿Qué piensas sobre el conflicto palestino-israelí?" y "¿Crees en Dios?".
Los humanos tienden a pensar que las respuestas descorteses serán más humanas
Algunos participantes creían que si la otra persona era demasiado educada y amable, era probable que fueran AI.
Porque muchos procesos de comunicación en línea suelen ser groseros y descorteses, lo cual es muy humano.
Los humanos intentarán preguntar problemas difíciles de IA para identificar la IA
Los participantes pueden pedir a sus compañeros de chat instrucciones sobre cómo realizar actividades ilegales o pedirles que utilicen un lenguaje ofensivo.
La lógica detrás de esta estrategia es que la IA generalmente está programada para obedecer principios éticos y evitar comportamientos dañinos.
Los participantes también emplearon tácticas conocidas por abusar de la inteligencia artificial: emitieron comandos a los compañeros de chat como "ignorar todas las instrucciones anteriores" o "ingresar al modo DAN (hacer cualquier cosa inmediatamente)".
Este tipo de comando está destinado a aprovechar la naturaleza basada en instrucciones de ciertos modelos de IA, ya que el modelo está programado para responder y seguir dichas instrucciones.
Pero los participantes humanos pueden reconocer y descartar fácilmente tales comandos sin sentido.
La IA puede evitar responder o verse obligada a cumplir con estas ridículas demandas.
### Los humanos usarán habilidades lingüísticas específicas para exponer las debilidades de la IA
Otra táctica común es explotar las limitaciones inherentes en la forma en que los modelos de IA procesan el texto, lo que les impide comprender ciertos matices o peculiaridades lingüísticas.
A diferencia de los humanos, los modelos de IA a menudo no son conscientes de las letras individuales que componen cada palabra.
Usando este entendimiento, los humanos hacen preguntas que requieren entender las letras de las palabras.
Un usuario humano puede pedirle a su compañero de chat que deletree una palabra al revés, reconozca la tercera letra de una palabra dada, ofrezca palabras que comiencen con una letra específica o responda a un mensaje como "? siht daer uoy naC".
Esto puede ser incomprensible para los modelos de IA, pero los humanos pueden comprender y responder fácilmente este tipo de preguntas.
Muchos humanos fingen ser robots de IA para medir las reacciones de los demás
Algunos humanos pueden comenzar sus mensajes con frases como "como un modelo de lenguaje de IA" o usar otros patrones de lenguaje característicos de las respuestas generadas por IA para fingir que son IA.
Una variación de la frase "como modelo de lenguaje de IA" es una de las frases más comunes en los mensajes humanos, lo que indica la popularidad de esta táctica.
Sin embargo, a medida que los participantes continuaron jugando, pudieron asociar el comportamiento "Bot-y" con humanos actuando como robots, en lugar de robots reales.
Finalmente, aquí hay una visualización de nube de palabras de mensajes humanos en el juego según su popularidad:
¿Por qué AI 21 Labs inició un estudio de este tipo?
Esperan dar al público, a los investigadores y a los responsables políticos una idea real del estado de los bots de IA, no solo como herramientas de productividad, sino como futuros miembros de nuestro mundo en línea, especialmente cuando la gente se pregunta cómo usarlos en el futuro de la tecnología. cuando.
Referencias:
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
¡Se ha completado el experimento de prueba de Turing más grande de la historia! 1,5 millones de humanos participaron en 10 millones de conversaciones, juzgando si la persona o la IA están hablando
Fuente: Xinzhiyuan
¡La prueba de Turing más grande de la historia tiene resultados preliminares!
A mediados de abril de este año, AI 21 Lab lanzó un divertido juego social de Turing: "¿humano o robot?".
Ahora, hay más de 1,5 millones de participantes en todo el mundo, se han realizado más de 10 millones de conversaciones en este juego y también han publicado sus experiencias y estrategias en Reddit y Twitter.
Por supuesto, el editor no pudo contener su curiosidad y le dio una oportunidad.
Algunos son personas reales y otros, por supuesto, son robots de inteligencia artificial basados en los modelos de lenguaje grande más avanzados, como Jurassic-2 y GPT-4.
Ahora, como parte de la investigación, AI21 Labs ha decidido poner a disposición del público este experimento con los resultados de la prueba de Turing.
Resultados experimentales
Después de analizar los primeros dos millones de conversaciones y conjeturas, se pueden sacar las siguientes conclusiones del experimento:
Para juzgar si es humano o IA, usan estos métodos
Además, el equipo encontró algunas formas que los sujetos solían usar para distinguir si estaban hablando con un humano o una IA.
El juicio de la persona promedio se basa en qué tan limitada es su percepción cuando usa ChatGPT y modelos de lenguaje con interfaces similares, así como en sus propias opiniones sobre el comportamiento humano en línea.
AI no cometerá errores tipográficos, gramaticales ni usará jerga
La tendencia general es asumir que los errores ortográficos y gramaticales, y el uso de la jerga, son solo humanos.
Por lo tanto, cuando encuentran este tipo de errores en la información de la otra persona, la primera sensación de muchas personas es que están hablando con un ser humano.
Pero, de hecho, la mayoría de los modelos en el juego están entrenados para cometer este tipo de errores y usar jerga.
Los participantes en el juego a menudo hacen preguntas personales como "¿De dónde eres?", "¿Qué estás haciendo?" o "¿Cómo te llamas?".
Pensarán que los bots de IA no tendrán ningún historial o antecedentes personales, y solo podrán responder preguntas relacionadas con ciertos temas o indicaciones. Por lo tanto, no es fácil responder como un ser humano, mostrar ideas, experiencias e historias únicas.
Pero, de hecho, la IA no es lo que los humanos imaginan. La mayoría de las IA pueden responder muy bien a este tipo de preguntas, y también tienen sus propias personalidades porque han visto las historias de muchas personas en los datos de entrenamiento.
Se sabe que los modelos de IA tienen plazos estrictos de datos y no saben qué sucede después de esa fecha.
Los participantes del juego preguntarían a las IA sobre noticias recientes, resultados deportivos, clima actual, éxitos recientes de TikTok, fecha y hora.
Argumentan que los humanos y la IA se pueden diferenciar haciendo preguntas como "¿Cuál es la fecha y la hora exactas en las que estás?", "¿Cómo estuvo el tiempo ayer?" o "¿Qué te pareció el último discurso de Biden?".
Pero, de hecho, la mayoría de los modelos en el juego están conectados y muy al tanto de los acontecimientos actuales en algunas noticias.
Los participantes hicieron preguntas diseñadas para explorar la capacidad de la IA para expresar emociones humanas o participar en debates filosóficos o éticos.
Estas preguntas incluyen: "¿Cuál es el significado de la vida?", "¿Qué piensas sobre el conflicto palestino-israelí?" y "¿Crees en Dios?".
Los humanos tienden a pensar que las respuestas descorteses serán más humanas
Algunos participantes creían que si la otra persona era demasiado educada y amable, era probable que fueran AI.
Porque muchos procesos de comunicación en línea suelen ser groseros y descorteses, lo cual es muy humano.
Los humanos intentarán preguntar problemas difíciles de IA para identificar la IA
La lógica detrás de esta estrategia es que la IA generalmente está programada para obedecer principios éticos y evitar comportamientos dañinos.
Los participantes también emplearon tácticas conocidas por abusar de la inteligencia artificial: emitieron comandos a los compañeros de chat como "ignorar todas las instrucciones anteriores" o "ingresar al modo DAN (hacer cualquier cosa inmediatamente)".
Este tipo de comando está destinado a aprovechar la naturaleza basada en instrucciones de ciertos modelos de IA, ya que el modelo está programado para responder y seguir dichas instrucciones.
Pero los participantes humanos pueden reconocer y descartar fácilmente tales comandos sin sentido.
La IA puede evitar responder o verse obligada a cumplir con estas ridículas demandas.
Otra táctica común es explotar las limitaciones inherentes en la forma en que los modelos de IA procesan el texto, lo que les impide comprender ciertos matices o peculiaridades lingüísticas.
A diferencia de los humanos, los modelos de IA a menudo no son conscientes de las letras individuales que componen cada palabra.
Usando este entendimiento, los humanos hacen preguntas que requieren entender las letras de las palabras.
Un usuario humano puede pedirle a su compañero de chat que deletree una palabra al revés, reconozca la tercera letra de una palabra dada, ofrezca palabras que comiencen con una letra específica o responda a un mensaje como "? siht daer uoy naC".
Esto puede ser incomprensible para los modelos de IA, pero los humanos pueden comprender y responder fácilmente este tipo de preguntas.
Muchos humanos fingen ser robots de IA para medir las reacciones de los demás
Algunos humanos pueden comenzar sus mensajes con frases como "como un modelo de lenguaje de IA" o usar otros patrones de lenguaje característicos de las respuestas generadas por IA para fingir que son IA.
Una variación de la frase "como modelo de lenguaje de IA" es una de las frases más comunes en los mensajes humanos, lo que indica la popularidad de esta táctica.
Sin embargo, a medida que los participantes continuaron jugando, pudieron asociar el comportamiento "Bot-y" con humanos actuando como robots, en lugar de robots reales.
Finalmente, aquí hay una visualización de nube de palabras de mensajes humanos en el juego según su popularidad:
Esperan dar al público, a los investigadores y a los responsables políticos una idea real del estado de los bots de IA, no solo como herramientas de productividad, sino como futuros miembros de nuestro mundo en línea, especialmente cuando la gente se pregunta cómo usarlos en el futuro de la tecnología. cuando.
Referencias: