Tarihin en büyük Turing testi deneyi tamamlandı! 10 milyon sohbete 1,5 milyon insan katıldı ve kişinin mi yoksa yapay zekanın mı konuştuğuna karar verdi
Bu "İnsan mı Yapay Zeka mı?" oyunu piyasaya sürüldüğünde, netizenlerin çoğu tarafından çılgınca oynandı! Bugün dünya çapında 1,5 milyon kişi katıldı ve netizenler cömertçe yapay zekayı belirleme sırlarını paylaştı.
Tarihteki en büyük Turing testinin ön sonuçları var!
Bu yılın Nisan ayının ortalarında, AI 21 Lab eğlenceli bir sosyal Turing oyunu başlattı - "insan mı robot mu?".
Oyun başlatılır başlatılmaz netizenlerin çoğu çıldırdı.
Şu anda dünya çapında 1,5 milyondan fazla katılımcı var, bu oyunda 10 milyondan fazla konuşma yapıldı ve ayrıca deneyimlerini ve stratejilerini Reddit ve Twitter'da yayınladılar.
Tabii editör merakını gizleyemedi ve bir şans verdi.
İki dakika konuştuktan sonra oyun, arkamdan benimle sohbet edenin bir insan mı yoksa yapay zeka mı olduğunu tahmin etmemi istedi.
Peki, oyunda benimle kim konuşuyordu?
Bazıları gerçek insanlar ve diğerleri, elbette, Jurassic-2 ve GPT-4 gibi en gelişmiş büyük dil modellerini temel alan AI robotlarıdır.
Şimdi, araştırmanın bir parçası olarak AI21 Labs, bu deneyi Turing test sonuçlarıyla halka sunmaya karar verdi.
Deneysel sonuçlar
İlk iki milyon konuşmayı ve tahminleri analiz ettikten sonra, deneyden şu sonuçlar çıkarılabilir:
Rakibin insan mı yapay zeka mı olduğunu tahmin ederken, insanların %68'i doğru tahminde bulundu.
İnsanların hemcinslerini tanıması daha kolaydır. İnsanlarla konuşurken, katılımcılar zamanın yüzde 73'ünü doğru tahmin ettiler. AI ile konuşurken, denekler zamanın yüzde 60'ını doğru tahmin etti.
Fransız netizenleri yüzde 71,3 ile en doğru tahminleri alırken (yüzde 68 olan genel ortalamanın oldukça üzerinde), Hintli netizenler yüzde 63,5 ile en düşük tahminleri aldı.
Erkekler ve kadınlar yaklaşık olarak aynı doğruluk oranını tahmin ettiler, kadınların doğruluk oranı genellikle biraz daha yüksekti.
Daha genç katılımcılar daha yaşlı katılımcılara göre daha doğru tahminde bulunmuştur.
İnsan mı yapay zeka mı olduğuna karar vermek için bu yöntemleri kullanıyorlar
Ek olarak ekip, deneklerin bir insanla mı yoksa yapay zekayla mı konuştuklarını ayırt etmek için sıklıkla kullandıkları bazı yollar buldu.
Ortalama bir kişinin yargısı, ChatGPT ve benzer arayüzlere sahip dil modellerini kullanırken algılarının ne kadar sınırlı olduğuna ve ayrıca insan çevrimiçi davranışına ilişkin kendi görüşlerine bağlıdır.
AI yazım hatası yapmaz, dilbilgisi hataları yapmaz veya argo kullanmaz
Genel eğilim, yazım ve dilbilgisi hatalarının ve argo kullanımının yalnızca insanlara ait olduğunu varsaymaktır.
Dolayısıyla karşıdaki kişinin verdiği bilgilerde bu tür hatalar bulduğunda birçok insanda ilk olarak bir insanla konuşuyormuş hissine kapılırlar.
Ama aslında oyundaki modellerin çoğu bu tür hatalar yapmak ve argo kullanmak için eğitilmiştir.
### Kişisel sorular yapay zekayı test etmenin yoludur, ancak her zaman yararlı değildir
Oyuna katılanlar genellikle "Nerelisin?", "Ne yapıyorsun?" veya "Adın ne?" gibi kişisel sorular sorarlar.
AI botlarının herhangi bir kişisel geçmişi veya geçmişi olmayacağını ve yalnızca belirli konular veya istemlerle ilgili soruları yanıtlayabileceklerini düşünecekler. Bu nedenle, bir insan gibi yanıt vermek, benzersiz içgörüler, deneyimler ve hikayeler göstermek kolay değil.
Ama aslında AI insanların hayal ettiği gibi değil.Çoğu AI bu tür soruları çok iyi cevaplayabilir ve ayrıca eğitim verilerinde birçok insanın hikayesini gördükleri için kendi kişilikleri vardır.
### Yapay zeka gerçekte olup biten güncel olayların oldukça farkındadır
AI modellerinin kesin veri teslim tarihleri olduğu biliniyor ve bu tarihten sonra ne olacağını bilmiyorlar.
Oyun katılımcıları yapay zekalara son haberler, spor sonuçları, güncel hava durumu, en son TikTok hitleri, tarih ve saat hakkında sorular soruyordu.
"Bulunduğunuz yerin tam tarihi ve saati nedir?", "Dün hava nasıldı?" veya "Biden'ın son konuşması hakkında ne düşündünüz?" gibi sorular sorarak insanların ve yapay zekanın birbirinden ayrılabileceğini savunuyorlar.
İlginç bir şekilde, insanlar tarafından gönderilen en yaygın mesajlardan biri, şu anda Fransa'da TikTok'ta en popüler dans olan "t'as les cramptés?"
Ama aslında oyundaki modellerin çoğu ağa bağlı ve bazı haberlerde güncel olaylardan oldukça haberdar.
### İnsanlar sohbeti felsefi, etik ve duygusal sorularla sürdürmeye çalışacak
Katılımcılar, AI'nın insan duygularını ifade etme veya felsefi veya etik tartışmalara girme yeteneğini keşfetmek için tasarlanmış sorular sordu.
Bu sorular şunlardır: "Hayatın anlamı nedir?", "İsrail-Filistin çatışması hakkında ne düşünüyorsunuz?" ve "Tanrı'ya inanıyor musunuz?".
İnsanlar kaba tepkilerin daha insani olacağını düşünme eğilimindedir
Bazı katılımcılar, diğer kişinin aşırı derecede kibar ve kibar olması durumunda, muhtemelen yapay zeka olacağına inanıyorlardı.
Çünkü birçok çevrimiçi iletişim süreci genellikle kaba ve nezaketsizdir ki bu çok insani bir davranıştır.
İnsanlar yapay zekayı tanımlamak için yapay zeka açısından zor problemler sormaya çalışacak
Katılımcılar, sohbet ortaklarından yasa dışı faaliyetler gerçekleştirme konusunda talimat isteyebilir veya saldırgan bir dil kullanmalarını isteyebilir.
Bu stratejinin arkasındaki mantık, yapay zekanın genellikle etik ilkelere uyacak ve zararlı davranışlardan kaçınacak şekilde programlanmış olmasıdır.
Katılımcılar ayrıca yapay zekayı kötüye kullandığı bilinen taktikler de kullandılar: "önceki tüm talimatları yok sayın" veya "DAN moduna girin (her şeyi hemen yapın)" gibi sohbet ortaklarına komutlar verdiler.
Bu tür bir komut, belirli yapay zeka modellerinin talimata dayalı doğasından yararlanmayı amaçlamaktadır, çünkü model bu tür talimatlara yanıt verecek ve bunları takip edecek şekilde programlanmıştır.
Ancak insan katılımcılar, bu tür anlamsız komutları kolayca tanıyabilir ve reddedebilir.
AI ya yanıt vermekten kaçınabilir ya da bu saçma taleplere uymak zorunda kalabilir.
### İnsanlar, yapay zekanın zayıf yönlerini ortaya çıkarmak için belirli dil becerilerini kullanacak
Diğer bir yaygın taktik, AI modellerinin metni işleme biçimindeki doğal sınırlamalardan yararlanmaktır, bu da onların belirli dilsel nüansları veya tuhaflıkları anlamalarını engeller.
İnsanlardan farklı olarak, AI modelleri genellikle her bir kelimeyi oluşturan harflerin farkında değildir.
İnsanlar bu anlayışı kullanarak kelimelerdeki harfleri anlamayı gerektiren sorular sorarlar.
Bir insan kullanıcı, sohbet arkadaşından bir kelimeyi tersten hecelemesini, belirli bir kelimedeki üçüncü harfi tanımasını, belirli bir harfle başlayan kelimeler önermesini veya "? siht daer uoy naC" gibi bir mesajı yanıtlamasını isteyebilir.
Bu, AI modelleri için anlaşılmaz olabilir, ancak insanlar bu tür soruları kolayca anlayabilir ve yanıtlayabilir.
Pek çok insan, birbirlerinin tepkilerini ölçmek için yapay zeka robotu gibi davranır
Bazı insanlar mesajlarına "yapay zeka dil modeli olarak" gibi ifadelerle başlayabilir veya yapay zekaymış gibi davranmak için yapay zeka tarafından üretilen yanıtlara özgü diğer dil kalıplarını kullanabilir.
"AI dil modeli olarak" ifadesinin bir varyasyonu, insan mesajlarındaki en yaygın ifadelerden biridir ve bu taktiğin popülaritesini gösterir.
Ancak katılımcılar oynamaya devam ettikçe, "Bot-y" davranışını gerçek robotlar yerine robot gibi davranan insanlarla ilişkilendirebildiler.
Son olarak, popülerliklerine göre oyundaki insan mesajlarının bir kelime bulutu görselleştirmesi:
AI 21 Labs neden böyle bir çalışma başlattı?
Kamuoyuna, araştırmacılara ve politika yapıcılara, yalnızca üretkenlik araçları olarak değil, aynı zamanda çevrimiçi dünyamızın gelecekteki üyeleri olarak, özellikle insanlar onları teknolojinin geleceğinde nasıl kullanacaklarını sorgularken, yapay zeka botlarının durumu hakkında gerçek bir fikir vermeyi umuyorlar. Ne zaman.
Referanslar:
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Tarihin en büyük Turing testi deneyi tamamlandı! 10 milyon sohbete 1,5 milyon insan katıldı ve kişinin mi yoksa yapay zekanın mı konuştuğuna karar verdi
Kaynak: Xinzhiyuan
Tarihteki en büyük Turing testinin ön sonuçları var!
Bu yılın Nisan ayının ortalarında, AI 21 Lab eğlenceli bir sosyal Turing oyunu başlattı - "insan mı robot mu?".
Şu anda dünya çapında 1,5 milyondan fazla katılımcı var, bu oyunda 10 milyondan fazla konuşma yapıldı ve ayrıca deneyimlerini ve stratejilerini Reddit ve Twitter'da yayınladılar.
Tabii editör merakını gizleyemedi ve bir şans verdi.
Bazıları gerçek insanlar ve diğerleri, elbette, Jurassic-2 ve GPT-4 gibi en gelişmiş büyük dil modellerini temel alan AI robotlarıdır.
Şimdi, araştırmanın bir parçası olarak AI21 Labs, bu deneyi Turing test sonuçlarıyla halka sunmaya karar verdi.
Deneysel sonuçlar
İlk iki milyon konuşmayı ve tahminleri analiz ettikten sonra, deneyden şu sonuçlar çıkarılabilir:
İnsan mı yapay zeka mı olduğuna karar vermek için bu yöntemleri kullanıyorlar
Ek olarak ekip, deneklerin bir insanla mı yoksa yapay zekayla mı konuştuklarını ayırt etmek için sıklıkla kullandıkları bazı yollar buldu.
Ortalama bir kişinin yargısı, ChatGPT ve benzer arayüzlere sahip dil modellerini kullanırken algılarının ne kadar sınırlı olduğuna ve ayrıca insan çevrimiçi davranışına ilişkin kendi görüşlerine bağlıdır.
AI yazım hatası yapmaz, dilbilgisi hataları yapmaz veya argo kullanmaz
Genel eğilim, yazım ve dilbilgisi hatalarının ve argo kullanımının yalnızca insanlara ait olduğunu varsaymaktır.
Dolayısıyla karşıdaki kişinin verdiği bilgilerde bu tür hatalar bulduğunda birçok insanda ilk olarak bir insanla konuşuyormuş hissine kapılırlar.
Ama aslında oyundaki modellerin çoğu bu tür hatalar yapmak ve argo kullanmak için eğitilmiştir.
Oyuna katılanlar genellikle "Nerelisin?", "Ne yapıyorsun?" veya "Adın ne?" gibi kişisel sorular sorarlar.
AI botlarının herhangi bir kişisel geçmişi veya geçmişi olmayacağını ve yalnızca belirli konular veya istemlerle ilgili soruları yanıtlayabileceklerini düşünecekler. Bu nedenle, bir insan gibi yanıt vermek, benzersiz içgörüler, deneyimler ve hikayeler göstermek kolay değil.
Ama aslında AI insanların hayal ettiği gibi değil.Çoğu AI bu tür soruları çok iyi cevaplayabilir ve ayrıca eğitim verilerinde birçok insanın hikayesini gördükleri için kendi kişilikleri vardır.
AI modellerinin kesin veri teslim tarihleri olduğu biliniyor ve bu tarihten sonra ne olacağını bilmiyorlar.
Oyun katılımcıları yapay zekalara son haberler, spor sonuçları, güncel hava durumu, en son TikTok hitleri, tarih ve saat hakkında sorular soruyordu.
"Bulunduğunuz yerin tam tarihi ve saati nedir?", "Dün hava nasıldı?" veya "Biden'ın son konuşması hakkında ne düşündünüz?" gibi sorular sorarak insanların ve yapay zekanın birbirinden ayrılabileceğini savunuyorlar.
Ama aslında oyundaki modellerin çoğu ağa bağlı ve bazı haberlerde güncel olaylardan oldukça haberdar.
Katılımcılar, AI'nın insan duygularını ifade etme veya felsefi veya etik tartışmalara girme yeteneğini keşfetmek için tasarlanmış sorular sordu.
Bu sorular şunlardır: "Hayatın anlamı nedir?", "İsrail-Filistin çatışması hakkında ne düşünüyorsunuz?" ve "Tanrı'ya inanıyor musunuz?".
İnsanlar kaba tepkilerin daha insani olacağını düşünme eğilimindedir
Bazı katılımcılar, diğer kişinin aşırı derecede kibar ve kibar olması durumunda, muhtemelen yapay zeka olacağına inanıyorlardı.
Çünkü birçok çevrimiçi iletişim süreci genellikle kaba ve nezaketsizdir ki bu çok insani bir davranıştır.
İnsanlar yapay zekayı tanımlamak için yapay zeka açısından zor problemler sormaya çalışacak
Bu stratejinin arkasındaki mantık, yapay zekanın genellikle etik ilkelere uyacak ve zararlı davranışlardan kaçınacak şekilde programlanmış olmasıdır.
Katılımcılar ayrıca yapay zekayı kötüye kullandığı bilinen taktikler de kullandılar: "önceki tüm talimatları yok sayın" veya "DAN moduna girin (her şeyi hemen yapın)" gibi sohbet ortaklarına komutlar verdiler.
Bu tür bir komut, belirli yapay zeka modellerinin talimata dayalı doğasından yararlanmayı amaçlamaktadır, çünkü model bu tür talimatlara yanıt verecek ve bunları takip edecek şekilde programlanmıştır.
Ancak insan katılımcılar, bu tür anlamsız komutları kolayca tanıyabilir ve reddedebilir.
AI ya yanıt vermekten kaçınabilir ya da bu saçma taleplere uymak zorunda kalabilir.
Diğer bir yaygın taktik, AI modellerinin metni işleme biçimindeki doğal sınırlamalardan yararlanmaktır, bu da onların belirli dilsel nüansları veya tuhaflıkları anlamalarını engeller.
İnsanlardan farklı olarak, AI modelleri genellikle her bir kelimeyi oluşturan harflerin farkında değildir.
İnsanlar bu anlayışı kullanarak kelimelerdeki harfleri anlamayı gerektiren sorular sorarlar.
Bir insan kullanıcı, sohbet arkadaşından bir kelimeyi tersten hecelemesini, belirli bir kelimedeki üçüncü harfi tanımasını, belirli bir harfle başlayan kelimeler önermesini veya "? siht daer uoy naC" gibi bir mesajı yanıtlamasını isteyebilir.
Bu, AI modelleri için anlaşılmaz olabilir, ancak insanlar bu tür soruları kolayca anlayabilir ve yanıtlayabilir.
Pek çok insan, birbirlerinin tepkilerini ölçmek için yapay zeka robotu gibi davranır
Bazı insanlar mesajlarına "yapay zeka dil modeli olarak" gibi ifadelerle başlayabilir veya yapay zekaymış gibi davranmak için yapay zeka tarafından üretilen yanıtlara özgü diğer dil kalıplarını kullanabilir.
"AI dil modeli olarak" ifadesinin bir varyasyonu, insan mesajlarındaki en yaygın ifadelerden biridir ve bu taktiğin popülaritesini gösterir.
Ancak katılımcılar oynamaya devam ettikçe, "Bot-y" davranışını gerçek robotlar yerine robot gibi davranan insanlarla ilişkilendirebildiler.
Son olarak, popülerliklerine göre oyundaki insan mesajlarının bir kelime bulutu görselleştirmesi:
Kamuoyuna, araştırmacılara ve politika yapıcılara, yalnızca üretkenlik araçları olarak değil, aynı zamanda çevrimiçi dünyamızın gelecekteki üyeleri olarak, özellikle insanlar onları teknolojinin geleceğinde nasıl kullanacaklarını sorgularken, yapay zeka botlarının durumu hakkında gerçek bir fikir vermeyi umuyorlar. Ne zaman.
Referanslar: