Mi az „AI sodródás”, és miért teszi butábbá a ChatGPT-t?

Érdemes lehet újragondolni a GPT-4 használatát, különösen matematikai feladatok esetén.

Akár maga tapasztalta a ChatGPT használatával, akár olvasott róla, a pletykák igazak, a ChatGPT egyre hülyébb.

Ez a jelenség különösen zavarba ejtő, mivel a generatív AI-modellek felhasználói bemeneteket használnak fel önmaguk folyamatos képzésére, ami intelligensebbé teszi őket, mivel idővel több felhasználói bejegyzést halmoznak fel.

A válasz a "drift" nevű fogalomban rejlik.

A "sodródás" arra utal, amikor a nagy nyelvi modellek (LLM) váratlan vagy előre nem látható módon viselkednek, és eltérnek az eredeti paraméterektől. Ez azért fordulhat elő, mert a bonyolult mesterségesintelligencia-modellek részeinek javítására tett kísérletek más részek rosszabb teljesítményét okozzák.

A Berkeley-i Kaliforniai Egyetem és a Stanford Egyetem kutatói tanulmányt végeztek, hogy értékeljék a sodródásokat, és megvizsgálják, hogyan működik a ChatGPT népszerű nagynyelvi modellje (LLM), a GPT 3.5 (a ChatGPT mögötti LLM) és a GPT-4 (a Bing Chat és a ChatGPT Plus mögött álló LLM). ) idővel megváltozott.

A tanulmány összehasonlította mindkét LLM képességét matematikai problémák megoldására, kényes kérdések megválaszolására, közvélemény-kutatások megválaszolására, többugrásos tudásintenzív kérdések megválaszolására, kódgenerálásra, US Medical License vizsgákra, valamint vizuális érvelési feladatok elvégzésére márciusban és júniusban.

Amint a fenti vizsgálati eredményekből kiderül, a GPT-4 márciusi verziója sok esetben felülmúlta a júniusi verziót, és a legszembetűnőbbek az alapvető matematikai utasítások voltak, ahol a GPT-4 márciusi verziója mindkét (a) és (b) példában felülmúlta a júniusi verziót. ).

A GPT-4 a kódgenerálás, az orvosi vizsgakérdések és a közvélemény-kutatások megválaszolása során is romlott. Mindezek az esetek a drift jelenségnek tulajdoníthatók.

A sodródásokkal kapcsolatban az egyik kutató, James Zou azt mondta a Wall Street Journalnak: "Azt gyanítottuk, hogy ez itt is megtörténhet, de nagyon meglepett, hogy milyen gyorsan megy végbe a sodródás."

A romló intelligencia ellenére a GPT-4 és a GPT-3.5 esetében is volt néhány javulás.

Ennek eredményeként a kutatók arra biztatják a felhasználókat, hogy továbbra is használják az LLM-eket, de legyenek óvatosak azok használatánál, és folyamatosan értékeljék őket.