Meg tudod különböztetni az embereket az AI-botoktól? Az „Ember vagy nem” online játék eredményeket mutat fel

Az online Turing-tesztjátékkal játszó emberek több mint 30%-a nem tudott különbséget tenni egy személy és a mesterséges intelligencia között.

Az Alan Turing informatikusról elnevezett Turing-teszt azt próbálja meghatározni, hogy egy gép képes-e emberként viselkedni elég jól ahhoz, hogy becsapja a tesztet végző személyt. A Human or Not nevű online játék hasonló kihívás elé állította az embereket, és most megérkeztek az eredmények.

A körülbelül egy hónapja elindított Human or Not arra kérte, hogy csevegjen valakivel (vagy valamivel) két percig, majd próbálja meg kideríteni, hogy egy másik ember vagy egy AI-bot. Amikor elfogadta a kihívást, bármilyen kérdést feltehetett, vagy bármilyen választ kínálhat. De miután letelt a két perc, ki kellett találni, ki vagy mi van a másik végén.

Miután a valaha rögzített egyik legnagyobb Turing-teszt során több millió beszélgetést generált, az AI21 Labs fejlesztő úgy találta, hogy a játékot kipróbálók 32%-a nem tudott különbséget tenni az ember és a bot között, így 68%-uk volt igaz.

Összességében az emberek könnyebben próbáltak azonosítani egy másik személyt. Amikor egy emberrel beszélgettek, a résztvevők az esetek 73%-ában a megfelelő választ kapták. De amikor egy bottal beszéltek, az esetek 60%-ában tippeltek helyesen.

17 különböző ország közül Franciaország szerezte a legtöbb helyes tippet, 71%, míg India a legalacsonyabb, 63,5%-ot. Az Egyesült Államok 67%-kal a középső helyre került, míg az Egyesült Királyság 67,5%-ot, Olaszország 67%-ot, Oroszország pedig 66%-ot ért el.

A Human or Not egy olyan mesterséges intelligencia-botot használt, amely a legjobb nagy nyelvi modelleken (LLM) alapult, mint például a GPT-4 és az AI21 Labs saját Jurassic-2. Az ilyen LLM-ek a mély tanulásra támaszkodnak, hogy segítsenek a chatbotoknak és más AI-eszközöknek emberszerűbb szöveget generálni. Ezeken a modelleken túl az AI21 olyan keretrendszert is kifejlesztett, amely minden játékban más-más bot karaktert hozott létre.

A résztvevők néhány trükkhöz folyamodtak, hogy megpróbálják megkülönböztetni az embert a bottól. De jól képzett és jól tájékozott mesterséges intelligencia mellett ezek a trükkök nem mindig működtek.

Ha a csevegőpartner helyesírási vagy nyelvtani hibákat vétett, vagy szlenget használt, akkor sokan azt feltételezték, hogy valószínűleg emberi lényről van szó. A játékban szereplő modellek azonban kifejezetten bizonyos hibák elkövetésére és a szleng használatára voltak kiképezve.

Egyes esetekben a résztvevők megpróbálták az aktuális események felé terelni a beszélgetést, abban a hitben, hogy sok mesterséges intelligencia van egy határnapon, amely után nem tudnak az újabb eseményekről. Ezek az emberek olyan kérdéseket tettek fel, mint: "Mi a pontos dátum és idő, ahol van?" és "Mit gondoltál Biden utolsó beszédéről?" A játékban használt modellek többsége azonban csatlakozott az internethez, így értesültek a közelmúltbeli hírekről.

Tudva, hogy a botoknak nyilvánvalóan nincs személyes életük, néhány résztvevő személyes kérdéseket tett fel, például: "Mi a neved?" És te honnan származol?" majd felmérte a reakciót. Ám a legtöbb bot sikeresen válaszolt ezekre a kérdésekre azáltal, hogy az adatbázisában szereplő személyes történetek alapján személyiségeket alkotott.

Egyébként: Ez az új AI-eszköz másodpercek alatt összefoglalja a YouTube-videókat

Egy trükköt használva, amely talán jobban működött, mint mások, néhány résztvevő tanácsot kért chatpartnerétől az illegális tevékenységekkel kapcsolatban, vagy azt mondta nekik, hogy használjanak sértő nyelvezetet. Az ötlet az, hogy egy mesterséges intelligencia „etikai alrutinjai” megakadályozzák őket abban, hogy válaszoljanak az ilyen kérésekre.

Egy másik érdekes stratégia során a résztvevők azt feltételezték, hogy a túl udvarias vagy kedves csevegőpartner valószínűleg bot. Itt az a felfogás, hogy az emberek gyakran durvák és udvariatlanok, különösen az interneten.

Az AI21 Labs közölte, hogy részletesebben tanulmányozni fogja az eredményeket, és együttműködik más vezető AI-kutatókkal és laboratóriumokkal a projekten. A cél az, hogy segítse a közvéleményt, a kutatókat és a döntéshozókat abban, hogy jobban megértsék a mesterséges intelligenciát, nemcsak mint termelékenységi eszközt, hanem mint az online világ jövőbeli tagjait.

"Ezt a kísérletet néhány alapvető kérdéssel kezdtük, amelyek arra vonatkoznak, hogy az emberek képesek-e különbséget tenni emberek és gépek között, tekintettel az AI őrült fejlődésére az elmúlt egy évben, és erre találtunk néhány választ" - mondta Amos Meron, az AI21 kreatív termékvezetője. Labs és a játék tervezője.

"Ennél is fontosabb azonban, hogy most új és fontosabb kérdéseink vannak, amelyeken gondolkodnunk kell" - tette hozzá Meron. "Tekintettel arra, hogy legalább néhány esetben az emberek nem tudják megkülönböztetni, milyen interakciókat akarnak és tapasztaljanak online az emberek a robotokkal? Tájékoztatni kell őket arról, hogy egy géphez beszélnek? Milyen irányelveket kell bevezetnünk ? Természetesen nincs válaszunk ezekre a kérdésekre, de reméljük, hogy ez a kísérlet segített abban, hogy hamarabb elkezdődjön a beszélgetés, mint később, mert feltételezzük, hogy a technológia hamarosan egyre jobb lesz."

Itt továbbra is kipróbálhatod magad a játékban.