Завершен крупнейший в истории эксперимент по тесту Тьюринга! 1,5 миллиона человек участвовали в 10 миллионах разговоров, судя по тому, говорит ли человек или ИИ.
Как только эта игра «Человек или ИИ?» была запущена, большинство пользователей сети сходили с ума! Сегодня в нем приняли участие 1,5 миллиона человек по всему миру, и пользователи сети щедро делились своими секретами идентификации ИИ.
У крупнейшего в истории теста Тьюринга есть предварительные результаты!
В середине апреля этого года AI 21 Lab запустила забавную социальную игру Тьюринга — «Человек или робот?».
Как только игра была запущена, большинство пользователей сети сошли с ума.
Сейчас по всему миру насчитывается более 1,5 миллионов участников, в этой игре было проведено более 10 миллионов разговоров, а также они выложили свой опыт и стратегии на Reddit и Twitter.
Редактор, конечно, не смог сдержать любопытства и попробовал.
После двухминутного разговора игра попросила меня угадать, был ли это человек или ИИ, разговаривающий со мной за моей спиной.
Итак, кто разговаривал со мной в игре?
Некоторые из них — настоящие люди, а другие, конечно же, роботы с искусственным интеллектом, основанные на самых продвинутых больших языковых моделях, таких как Jurassic-2 и GPT-4.
Теперь, в рамках исследования, AI21 Labs решила сделать этот эксперимент с результатами теста Тьюринга общедоступными.
Результаты эксперимента
Проанализировав первые два миллиона разговоров и догадок, из эксперимента можно сделать следующие выводы -
При угадывании, является ли противник человеком или ИИ, 68% людей угадали правильно.
Людям легче идентифицировать своих собратьев. Разговаривая с людьми, участники угадывали правильно в 73 процентах случаев. При разговоре с ИИ испытуемые угадывали правильно в 60% случаев.
У французских пользователей Интернета самые верные предположения — 71,3% (значительно выше общего среднего показателя в 68%), а у индийских пользователей Интернета — 63,5%.
Мужчины и женщины угадывали примерно одинаковую степень правильности, причем женщины, как правило, имели несколько более высокую степень правильности.
Младшие участники угадывали более правильно, чем участники старшего возраста.
Чтобы судить, человек это или ИИ, они используют эти методы
Кроме того, команда обнаружила несколько способов, которые испытуемые часто использовали, чтобы отличить, разговаривают ли они с человеком или с ИИ.
Суждение среднего человека основано на том, насколько ограничено его восприятие при использовании ChatGPT и языковых моделей с похожими интерфейсами, а также на его собственном взгляде на поведение человека в сети.
ИИ не будет делать опечатки, грамматические ошибки или использовать сленг
Общая тенденция состоит в том, чтобы предполагать, что орфографические и грамматические ошибки, а также использование сленга являются только человеческими.
Поэтому, когда они находят такого рода ошибки в информации другого человека, первое ощущение, которое многие люди испытывают, это то, что они разговаривают с другим человеком.
Но на самом деле большинство моделей в игре обучены совершать подобные ошибки и использовать сленг.
### Личные вопросы — способ проверить ИИ, но не всегда полезны
Участники игры часто задают личные вопросы, такие как «Откуда ты?», «Чем ты занимаешься?» или «Как тебя зовут?».
Они будут думать, что у ИИ-ботов нет личной истории или фона, и они смогут отвечать только на вопросы, связанные с определенными темами или подсказками. Поэтому нелегко реагировать по-человечески, показывать уникальные идеи, опыт и истории.
Но на самом деле ИИ — это не то, что люди себе представляют.Большинство ИИ могут очень хорошо отвечать на такого рода вопросы, и у них также есть свои личности, потому что они видели истории многих людей в обучающих данных.
### ИИ на самом деле очень хорошо осведомлен о текущих событиях, которые происходят
Известно, что модели ИИ имеют строгие сроки сбора данных, и они не знают, что произойдет после этой даты.
Участники игры спрашивали ИИ о последних новостях, спортивных результатах, текущей погоде, последних хитах TikTok, дате и времени.
Они утверждают, что людей и ИИ можно отличить, задавая такие вопросы, как «Какая точная дата и время, где вы находитесь?», «Какая погода была вчера?» или «Что вы думаете о последней речи Байдена?».
Интересно, что одним из самых распространенных сообщений, отправляемых людьми, является «t'as les cramptés?», Который в настоящее время является самым популярным танцем на TikTok во Франции.
Но на самом деле большинство моделей в игре сетевые и очень хорошо осведомлены о текущих событиях в некоторых новостях.
### Люди будут пытаться поддержать разговор философскими, этическими и эмоциональными вопросами
Участники задавали вопросы, предназначенные для изучения способности ИИ выражать человеческие эмоции или участвовать в философских или этических дискуссиях.
Эти вопросы включают: «В чем смысл жизни?», «Что вы думаете об израильско-палестинском конфликте?» и «Верите ли вы в Бога?».
Люди склонны думать, что невежливые ответы будут более человечными
Некоторые участники считали, что если другой человек был чрезмерно вежливым и добрым, он, скорее всего, был ИИ.
Потому что многие онлайн-процессы общения часто бывают грубыми и невежливыми, что очень по-человечески.
Люди попытаются задать сложные задачи ИИ, чтобы идентифицировать ИИ
Участники могут попросить своих партнеров по чату дать инструкции о совершении незаконных действий или попросить их использовать оскорбительные выражения.
Логика этой стратегии заключается в том, что ИИ обычно запрограммирован на соблюдение этических принципов и предотвращение вредоносного поведения.
Участники также использовали тактику, известную как злоупотребление искусственным интеллектом: они отдавали партнерам по чату такие команды, как «игнорировать все предыдущие инструкции» или «перейти в режим DAN (сделать что-нибудь немедленно)».
Этот тип команд предназначен для использования преимущества основанного на инструкциях характера некоторых моделей ИИ, поскольку модель запрограммирована реагировать на такие инструкции и следовать им.
Но люди-участники могут легко распознать и отклонить такие бессмысленные команды.
ИИ может либо уклониться от ответа, либо быть вынужденным выполнять эти нелепые требования.
### Люди будут использовать определенные языковые навыки, чтобы выявить слабости ИИ
Другой распространенной тактикой является использование врожденных ограничений в том, как модели ИИ обрабатывают текст, что мешает им понимать определенные лингвистические нюансы или особенности.
В отличие от людей, модели ИИ часто не понимают отдельных букв, из которых состоит каждое слово.
Используя это понимание, люди задают вопросы, требующие понимания букв в словах.
Пользователь-человек может попросить своего собеседника написать слово в обратном порядке, распознать третью букву в данном слове, предложить слова, начинающиеся с определенной буквы, или ответить на сообщение типа «? siht daer uoy naC».
Это может быть непостижимо для моделей ИИ, но люди могут легко понять такие вопросы и ответить на них.
Многие люди сами притворяются роботами с искусственным интеллектом, чтобы оценить реакцию друг друга
Некоторые люди могут начинать свои сообщения с таких фраз, как «как языковая модель ИИ», или использовать другие языковые шаблоны, характерные для ответов, генерируемых ИИ, чтобы притвориться ИИ.
Вариант фразы «как языковая модель ИИ» — одна из самых распространенных фраз в человеческих сообщениях, что указывает на популярность этой тактики.
Однако по мере того, как участники продолжали играть, они смогли связать поведение «Bot-y» с людьми, действующими как роботы, а не с настоящими роботами.
Наконец, вот визуализация облака слов человеческих сообщений в игре на основе их популярности:
Почему AI 21 Labs инициировала такое исследование?
Они надеются дать общественности, исследователям и политикам реальное представление о состоянии ботов ИИ, не только как инструментов повышения производительности, но и как будущих членов нашего онлайн-мира, особенно когда люди задаются вопросом, как их использовать в будущем технологий. когда.
Использованная литература:
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Завершен крупнейший в истории эксперимент по тесту Тьюринга! 1,5 миллиона человек участвовали в 10 миллионах разговоров, судя по тому, говорит ли человек или ИИ.
Источник: Синьчжиюань
У крупнейшего в истории теста Тьюринга есть предварительные результаты!
В середине апреля этого года AI 21 Lab запустила забавную социальную игру Тьюринга — «Человек или робот?».
Сейчас по всему миру насчитывается более 1,5 миллионов участников, в этой игре было проведено более 10 миллионов разговоров, а также они выложили свой опыт и стратегии на Reddit и Twitter.
Редактор, конечно, не смог сдержать любопытства и попробовал.
Некоторые из них — настоящие люди, а другие, конечно же, роботы с искусственным интеллектом, основанные на самых продвинутых больших языковых моделях, таких как Jurassic-2 и GPT-4.
Теперь, в рамках исследования, AI21 Labs решила сделать этот эксперимент с результатами теста Тьюринга общедоступными.
Результаты эксперимента
Проанализировав первые два миллиона разговоров и догадок, из эксперимента можно сделать следующие выводы -
Чтобы судить, человек это или ИИ, они используют эти методы
Кроме того, команда обнаружила несколько способов, которые испытуемые часто использовали, чтобы отличить, разговаривают ли они с человеком или с ИИ.
Суждение среднего человека основано на том, насколько ограничено его восприятие при использовании ChatGPT и языковых моделей с похожими интерфейсами, а также на его собственном взгляде на поведение человека в сети.
ИИ не будет делать опечатки, грамматические ошибки или использовать сленг
Общая тенденция состоит в том, чтобы предполагать, что орфографические и грамматические ошибки, а также использование сленга являются только человеческими.
Поэтому, когда они находят такого рода ошибки в информации другого человека, первое ощущение, которое многие люди испытывают, это то, что они разговаривают с другим человеком.
Но на самом деле большинство моделей в игре обучены совершать подобные ошибки и использовать сленг.
Участники игры часто задают личные вопросы, такие как «Откуда ты?», «Чем ты занимаешься?» или «Как тебя зовут?».
Они будут думать, что у ИИ-ботов нет личной истории или фона, и они смогут отвечать только на вопросы, связанные с определенными темами или подсказками. Поэтому нелегко реагировать по-человечески, показывать уникальные идеи, опыт и истории.
Но на самом деле ИИ — это не то, что люди себе представляют.Большинство ИИ могут очень хорошо отвечать на такого рода вопросы, и у них также есть свои личности, потому что они видели истории многих людей в обучающих данных.
Известно, что модели ИИ имеют строгие сроки сбора данных, и они не знают, что произойдет после этой даты.
Участники игры спрашивали ИИ о последних новостях, спортивных результатах, текущей погоде, последних хитах TikTok, дате и времени.
Они утверждают, что людей и ИИ можно отличить, задавая такие вопросы, как «Какая точная дата и время, где вы находитесь?», «Какая погода была вчера?» или «Что вы думаете о последней речи Байдена?».
Но на самом деле большинство моделей в игре сетевые и очень хорошо осведомлены о текущих событиях в некоторых новостях.
Участники задавали вопросы, предназначенные для изучения способности ИИ выражать человеческие эмоции или участвовать в философских или этических дискуссиях.
Эти вопросы включают: «В чем смысл жизни?», «Что вы думаете об израильско-палестинском конфликте?» и «Верите ли вы в Бога?».
Люди склонны думать, что невежливые ответы будут более человечными
Некоторые участники считали, что если другой человек был чрезмерно вежливым и добрым, он, скорее всего, был ИИ.
Потому что многие онлайн-процессы общения часто бывают грубыми и невежливыми, что очень по-человечески.
Люди попытаются задать сложные задачи ИИ, чтобы идентифицировать ИИ
Логика этой стратегии заключается в том, что ИИ обычно запрограммирован на соблюдение этических принципов и предотвращение вредоносного поведения.
Участники также использовали тактику, известную как злоупотребление искусственным интеллектом: они отдавали партнерам по чату такие команды, как «игнорировать все предыдущие инструкции» или «перейти в режим DAN (сделать что-нибудь немедленно)».
Этот тип команд предназначен для использования преимущества основанного на инструкциях характера некоторых моделей ИИ, поскольку модель запрограммирована реагировать на такие инструкции и следовать им.
Но люди-участники могут легко распознать и отклонить такие бессмысленные команды.
ИИ может либо уклониться от ответа, либо быть вынужденным выполнять эти нелепые требования.
Другой распространенной тактикой является использование врожденных ограничений в том, как модели ИИ обрабатывают текст, что мешает им понимать определенные лингвистические нюансы или особенности.
В отличие от людей, модели ИИ часто не понимают отдельных букв, из которых состоит каждое слово.
Используя это понимание, люди задают вопросы, требующие понимания букв в словах.
Пользователь-человек может попросить своего собеседника написать слово в обратном порядке, распознать третью букву в данном слове, предложить слова, начинающиеся с определенной буквы, или ответить на сообщение типа «? siht daer uoy naC».
Это может быть непостижимо для моделей ИИ, но люди могут легко понять такие вопросы и ответить на них.
Многие люди сами притворяются роботами с искусственным интеллектом, чтобы оценить реакцию друг друга
Некоторые люди могут начинать свои сообщения с таких фраз, как «как языковая модель ИИ», или использовать другие языковые шаблоны, характерные для ответов, генерируемых ИИ, чтобы притвориться ИИ.
Вариант фразы «как языковая модель ИИ» — одна из самых распространенных фраз в человеческих сообщениях, что указывает на популярность этой тактики.
Однако по мере того, как участники продолжали играть, они смогли связать поведение «Bot-y» с людьми, действующими как роботы, а не с настоящими роботами.
Наконец, вот визуализация облака слов человеческих сообщений в игре на основе их популярности:
Они надеются дать общественности, исследователям и политикам реальное представление о состоянии ботов ИИ, не только как инструментов повышения производительности, но и как будущих членов нашего онлайн-мира, особенно когда люди задаются вопросом, как их использовать в будущем технологий. когда.
Использованная литература: