Az „Ember vagy nem” játék véget ért: a legújabb Turing-teszt elmondja nekünk
A kísérlet célja elég egyszerű volt: csevegjen két percig, majd találja ki, hogy a másik résztvevő ember vagy bot. Jól sejtetted?
Az AI21 Labs idén tavasszal végzett egy közösségi kísérletet, amelyben több mint 2 millió résztvevő vett részt több mint 15 millió beszélgetésben a weboldalán keresztül. Minden csevegés végén a résztvevőnek ki kellett találnia, hogy beszélgetőpartnere ember vagy mesterséges intelligencia bot. Majdnem egyharmada rosszul tippelt.
Ahogy a ChatGPT és más mesterséges intelligencia chatbotok egyre népszerűbbé válnak, felmerül a kérdés, hogy az ilyen mesterséges intelligencia eszközök lehetnek-e olyan intelligensek, mint az emberek, vajon az általuk generált tartalom átadható-e az emberi alkotásoknak, és hogy a mesterséges intelligencia veszélyezteti-e az emberek állását.
Az AI21 Labs ihletet talált az "Ember vagy nem?" Kísérlet Alan Turing értékeléséből egy gép azon képességéről, hogy olyan szintű intelligenciát mutasson, amely megkülönböztethetetlen az emberétől.
Ezt a fajta kísérletet a matematikus 1950-es megfigyelése alapján Turing-tesztként ismerik: „Úgy gondolom, hogy 50 év múlva a számítógépeket olyan jól meg lehet játszani az utánzójátékkal, hogy egy átlagos kihallgató nem több, mint 70% az esélye annak, hogy 5 percnyi kihallgatás után sikerül helyesen azonosítani."
A Human or Not kísérlet eredményei alátámasztják Turing előrejelzését: Összességében a kísérlet résztvevői az esetek 68%-ában helyesen tippeltek. AI chatbottal párosítva a résztvevők csak az esetek 60%-ában tippeltek helyesen. Amikor a beszélgetőpartner egy másik ember volt, az esetek 73%-ában helyesen tippeltek.
Bár ez nem volt tökéletes Turing-teszt, az AI21 Labs Human or Not kísérlete megmutatta, hogy az AI-modellek miként képesek elég meggyőzően utánozni az emberi beszélgetést ahhoz, hogy megtévesszék az embereket. Ez megkérdőjelezi a mesterséges intelligencia korlátaira vonatkozó feltételezéseinket, és kihatással lehet a mesterséges intelligencia etikájára.
A kísérlet során kiderült, hogy az emberi résztvevők különböző stratégiákat alkalmaztak az AI-botok észlelésére, például személyes kérdéseket tettek fel, érdeklődtek az aktuális eseményekről, és felmérték az udvariasság szintjét a válaszokban.
Másrészt a szerzők azt találták, hogy a botok összekeverték a játékosokat olyan emberszerű viselkedéssel, mint a szleng használata, az elírások, a durva válaszok és a játék kontextusának tudatosítása.
Amos Meron, az AI21 Labs kreatív termékvezetője szerint Amos Meron, az AI21 Labs kreatív termékvezetője szerint, azzal a céllal hoztuk létre, hogy a nagyközönség, a kutatók és a döntéshozók jobban megértsék az AI helyzetét 2023 elején. . Hozzátette, az egyik cél az volt, hogy "az AI-t nem csak termelékenységi eszközként tekintjük, hanem online világunk jövőbeli tagjaiként, egy olyan időszakban, amikor az emberek megkérdőjelezik, hogyan kell az AI-t megvalósítani a jövőnkben."
Mivel magam használtam, amíg elérhető volt, minden alkalommal emberrel párosítottam, és minden alkalommal helyesen tippeltem. A válasz egyértelműnek tűnt számomra, mert beszélgetőpartnereim internetes szlengeket használtak (példáulidk), nem voltak hajlandók válaszolni a kérdésekre, vagy nem tudták a válaszokat.
A játékosok megpróbálták megzavarni a többi játékost az AI chatbotok utánzásával, olyan kifejezésekkel, mint „mint AI nyelvi modell”, de ez gyakran tökéletlenül történt, és a másik oldalon lévő emberi résztvevők át tudták látni a próbálkozásokat.