Az OpenAI egy második neurális hálót javasol a ChatGPT kódhibáinak észlelésére

Egy nagy nyelvi modell sok kódolási hibát észlel, de hajlamos arra is, hogy hallucináljon olyan hibákat, amelyek nincsenek ott.

A CriticGPT egy neurális hálózat alapú mesterséges intelligencia modell, amely bírálja a ChatGPT által létrehozott kódot, és rámutat a kód hibáira.

A hallucinációk problémája - a mesterséges intelligencia (AI) modelljei, amelyek hamisságokat állítanak a hitelesség leple alatt - néhány tudós arra a következtetésre jutott, hogy a generatív mesterséges intelligencia egyszerűen nem képes észlelni és kijavítani a hibáit.

Egy tavaly októberi tanulmányban a Google DeepMind kutatói azzal érveltek, hogy "az LLM-ek még nem képesek önkorrigálni érveléseiket".

A ChatGPT készítője, az OpenAI azonban nem ért egyet ezzel az állítással - és a múlt héten a cég felajánlotta a GPT-4 CriticGPT nevű verzióját, amely állítása szerint segíthet a hibák megtalálásában és kijavításában, hogy javítsa a modell általános pontosságát.

Az eredmények biztatóak az emberi csapatok számára, akik mesterséges intelligencia segítségével tisztítják meg a kódot. Az eredmények azonban arra is utalnak, hogy a segítő robotok hallucinációit nem lehet megkerülni.

A CriticGPT beállítása a programozási kódírás: a kutatók a CriticGPT-t javasolják második neurális hálónak, amely gyorsítótárazza azokat az eseteket, amikor a ChatGPT hibát követ el az általa generált kódban.

A kódírásra összpontosítanak, mert ahogy mondják, a számítógépes kód "éles" - egyértelmű jó és rossz válaszokat tartalmaz. Ezenkívül az OpenAI mint szervezet azt reméli, hogy a generatív mesterséges intelligenciát "igazításkutatási asszisztensként" fogja használni, hogy automatizálja a feltörekvő technológia védőkorlátainak felállítását. A kódírás már most is nagy felhasználója a generatív AI-nak, ezért értékes célpont, amelyet követni kell.

Az arXiv nyomtatás előtti szerveren közzétett cikkben, „Az LLM kritikusai segítenek elkapni az LLM hibákat” Nat McAleese, az OpenAI vezető szerzője és munkatársai leírják, amit úgy hívnak, hogy „egy egyszerű méretezhető felügyeleti módszer első bemutatója, amely segít az embereknek átfogóbban észlelni. problémák a valós RLHF adatokban."

Az RLHF (megerősítő tanulás az emberi visszacsatolásból) arra a jól ismert gyakorlatra utal, hogy a chatbotokat emberek válaszainak vetik alá, hogy elfogadhatóbbá tegyék kimenetüket. Ez az egyik módja annak, hogy az OpenAI és mások védőkorlátokat alakítsanak ki, hogy megpróbálják megakadályozni a nem kívánt viselkedést.

Ebben az esetben a CriticGPT ki van téve az emberi szerződéses programozók visszajelzésének, akik áttekintik a CriticGPT által a programozási kóddal kapcsolatos kritikákat. Az emberek értékelik a létrehozott kritikusokat relevanciájuk, specifikusságuk, átfogóságuk és egyebek miatt. A CriticGPT-t arra képezték ki, hogy az emberi visszajelzések alapján finomítsa a kritikákat, hogy megközelítse a magasabb jóváhagyási pontszámot.

McAleese és csapata azonban egy plusz lépést tett. Beragadtak néhány szándékos hibába a CriticGPT-ellenőrzések kódjában, mivel néhány emberi vállalkozó szándékosan beillesztett hibákat. A kutatók azt akarták, hogy a vállalkozók magyarázzák el a hibákat, a CriticGPT pedig befogadja ezeket a magyarázatokat, és megtanulja a hibákat magyarázatokkal társítani.

A remény az volt, hogy a CriticGPT javulni fog, mivel olyan hibaleírásokat készít, amelyek megközelítik azt, amit a humán vállalkozók a már ismert hibákról írtak.

A képzés eredménye - írja McAleese és csapata -, hogy a ChatGPT több hibát talál, mint az emberi kódellenőrzők. A CriticGPT "nagyon javítja a beillesztett hibák észlelésének sebességét, mivel mindkét LLM-kritikus (a ChatGPT és a CriticGPT) sokkal több hibát észlel, mint az emberi annotátorok" - írják.

Megjegyzik, még az emberi vállalkozók is jobban szeretik azt, amit a gép generál a kódelemzés során, szemben azzal, amit embertársaik írnak.

"A CriticGPT által írt kritikákat a vállalkozók alapvetően előnyben részesítik a ChatGPT kérésére írt kritikákkal szemben, és az általános értékelés alapján a vállalkozói csoportunktól származó, ember által írt kritikákkal szemben."

A mesterséges intelligencia modell segít az emberi vállalkozóknak abban, hogy gazdagabbá tegyék hibakritikáikat, ami egyfajta mesterséges intelligencia-növelés-ember eredmény, ami mindenkinek tetszeni kell: "A Human+CriticGPT csapatok lényegesen átfogóbb kritikákat írnak, mint az emberek egyedül, és hogy a CriticGPT javítja a ChatGPT átfogóbbságát mindkét ember esetében. észlelt és beillesztett hibákat."

Ahogy a szerzők egy kísérő blogbejegyzésben írják: "A CriticGPT javaslatai nem mindig helyesek, de úgy találjuk, hogy segíthetnek az oktatóknak abban, hogy sokkal több problémát fedezzenek fel a modell által írt válaszokkal, mint az AI segítsége nélkül."

De van egy fogás. Ahogy a ChatGPT és a különféle mesterséges intelligencia modellek „hallucinálhatják” a helytelen állításokat, úgy kiderül, hogy a CriticGPT is állíthatja, hogy azonosítja a nem létező hibákat.

"Azt tapasztaljuk azonban, hogy a nitpicckek és a hallucinált hibák aránya sokkal magasabb a modelleknél, mint az embereknél, bár a CriticGPT lényegesen képes csökkenteni ezt az arányt a ChatGPT-hez képest" - írják.

A CriticGPT hallucinál egy hibát az emberi kódban.

Ez egy dilemma: minél jobban elkapja a hibákat az AI-modell, annál inkább hallucinálja a hibákat: "Sajnos nem nyilvánvaló, hogy mi a helyes kompromisszum a hallucinációk és a hibaészlelés között egy olyan átfogó RLHF-rendszer esetében, amely kritikákat használ a modell javítására teljesítmény."

És nem könnyű megtalálni a középutat, jegyzik meg, mert "Egy ideális kísérlet teljesen külön, kritikával kiegészített RLHF adatgyűjtési hurkokat futtatna minden egyes precíziós/visszahívási ponthoz, de ez megfizethetetlenül drága."

Az áttörés során McAleese és csapata kompromisszumot kötött. A Force Sampling Beam Search megpróbálja kiemelni a CriticGPT legértékesebb kritikáit, miközben minimalizálja a hamis kritikák számát.

Az OpenAI megközelítésének lehetséges buktatói közé tartozik, hogy a Critic GPT képzése arra épül, hogy az emberek szándékos hibákat szúrnak be. Ez a megközelítés, írja McAleese és csapata, eltér a természetes LLM-hibák eloszlásától.

"A finom terjesztési problémák beillesztésére szolgáló képzési modellek (szemben azzal, hogy embereknek fizetnek a hibák beszúrásáért) enyhíthetik ezt az aggodalmat, de ezeket az irányokat a jövőbeli munkára bízzuk."

Ezért a probléma mindig a körül fog forogni, hogyan lehet elindítani az automatizálást emberi segítség nélkül.

Egy másik probléma - amelyet a szerzők nem említettek - az, hogy mint minden OpenAI esetében, sem az új CriticGPT-modell, sem a betanítási adatai nem elérhetők nyilvánosan: az egész le van zárva, nincs forráskód a vizsgálathoz, nincsenek olyan adatkészletek, amelyek mások letölthetik. Ez a bezárás azt jelenti, hogy a külső etikai vagy biztonsági szakértőknek aligha van lehetőségük ellenőrizni a CriticGPT modell által végrehajtott korrekciókat.

Az OpenAI-n kívüli pártok felügyelete nélkül a mondás tartja: ki fogja figyelni a figyelőket?