Ha a mesterséges intelligencia által generált kód meghibásodik, kinek kell a legnagyobb felelősséget kitennie?

A Hyena kód olyan mennyiségű adatot képes kezelni, amely miatt a GPT-stílusú technológia kifogy a memóriából és meghibásodik.

A Stanford és a MILA hiénahierarchiája egy olyan technológia, amely adatelemek összekapcsolására szolgál, legyenek azok szavak vagy pixelek egy digitális képen. A technológia hasonló pontosságot érhet el a benchmark mesterséges intelligencia feladatokban, mint a nagy nyelvi modellek meglévő "arany standardja", a "figyelem" mechanizmus, de akár 100-szor kisebb számítási teljesítménnyel.

Az OpenAI ChatGPT néven ismert chatbot AI programja és utódtechnológiája, a GPT-4 iránti lelkesedés ellenére a programok a nap végén csupán szoftveralkalmazások. És mint minden alkalmazásnak, ezeknek is vannak olyan technikai korlátai, amelyek miatt teljesítményük nem lesz optimális.

Egy márciusban megjelent cikkben a Stanford Egyetem és a kanadai MILA mesterséges intelligencia intézet mesterséges intelligenciával foglalkozó tudósai egy olyan technológiát javasoltak, amely sokkal hatékonyabb lehet a GPT-4-nél - vagy bármi hasonlónál - hatalmas mennyiségű adat felfalására. válaszsá alakítva.

A Hyena néven ismert technológia a számítási teljesítmény töredékének felhasználása mellett képes egyenértékű pontosságot elérni a benchmark teszteken, például a kérdések megválaszolásánál. Egyes esetekben a Hyena kód olyan mennyiségű szöveget képes kezelni, amely miatt a GPT-stílusú technológia egyszerűen elfogy a memóriából és meghibásodik.

"Ígéretes eredményeink a milliárd alatti paraméterskálán azt sugallják, hogy nem biztos, hogy a figyelemre van szükségünk" - írják a szerzők. Ez a megjegyzés egy mérföldkőnek számító 2017-es mesterségesintelligencia-jelentés címére utal: „A figyelem minden, amire szüksége van”. Ebben a cikkben Ashish Vaswani Google tudós és munkatársai bemutatták a világnak a Google Transformer AI programját. A Transformer a közelmúltbeli nagy nyelvi modellek mindegyikének alapja lett.

De a Transformernek van egy nagy hibája. Valami úgynevezett „figyelemet” használ, ahol a számítógépes program az információkat egy szimbólumcsoportban, például szavakban veszi, és áthelyezi egy új szimbólumcsoportba, például a ChatGPT-ből látható válaszba, amely a kimenet.

Ez a figyelemfelkeltő művelet - minden nagy nyelvi program alapvető eszköze, beleértve a ChatGPT-t és a GPT-4-et is - „négyzetes” számítási összetettséggel rendelkezik (a számítástechnika Wiki „időbonyolultsága”). Ez a bonyolultság azt jelenti, hogy a ChatGPT-nek a válasz elkészítéséhez szükséges idő növekszik a bemenetként betáplált adatmennyiség négyzetével.

Egy bizonyos ponton, ha túl sok adat van - túl sok szó van a promptban, vagy túl sok beszélgetéssorozat a programmal való többórás csevegés során -, akkor vagy a program elakad a válaszadásban, vagy egyre több GPU chipet kapnak, hogy gyorsabban és gyorsabban fussanak, ami a számítási követelmények megugrásához vezet.

Az arXiv nyomtatás előtti szerveren közzétett új, „Hyena Hierarchy: Towards Larger Convolutional Language Models” (Hyéna hierarchia: A nagyobb konvolúciós nyelvi modellek felé) című dokumentumban a vezető szerző, Michael Poli, a Stanfordtól és kollégái azt javasolják, hogy a Transformer figyelemfelhívását valami szub-kvadratikusra cseréljék, nevezetesen Hiéna.

A szerzők nem magyarázzák meg a nevet, de elképzelhető több oka is a "Hyena" programnak. A hiénák Afrikában élő állatok, amelyek mérföldekre vadásznak. Bizonyos értelemben egy nagyon erős nyelvi modell olyan lehet, mint egy hiéna, amely mérföldekre vadászik, hogy táplálékot találjon.

De a szerzőket valóban a "hierarchia" foglalkoztatja, amint azt a cím is sugallja, és a hiénák családjainak szigorú hierarchiája van, amely szerint a helyi hiéna klán tagjai különböző szintű rangokkal rendelkeznek, amelyek megalapozzák a dominanciát. Hasonló módon a Hiéna program egy csomó nagyon egyszerű műveletet alkalmaz, amint látni fogja, újra és újra, így ezek egyesülve egyfajta adatfeldolgozási hierarchiát alkotnak. Ez az a kombinatorikus elem, amely a programnak a Hiéna nevét adja.

A dolgozat szerzői között szerepelnek az AI világának fényesei, mint például Yoshua Bengio, a MILA tudományos igazgatója, aki 2019-ben Turing-díjat kapott, amely a számítástechnika terén a Nobel-díjjal egyenértékű. Bengiót széles körben elismerik a figyelemmechanizmus kifejlesztésében, jóval azelőtt, hogy Vaswani és csapata adaptálta volna a Transformerhez.

A szerzők között van a Stanford Egyetem informatikai docense, Christopher Ré is, aki az elmúlt években segített az AI mint "szoftver 2.0" fogalmának előmozdításában.

A figyelem szubkvadratikus alternatívájának megtalálása érdekében Poli és csapata nekilátott annak tanulmányozásának, hogy a figyelemmechanizmus hogyan csinálja azt, amit csinál, hogy kiderüljön, lehet-e ezt a munkát hatékonyabban elvégezni.

A mesterséges intelligencia tudományának legújabb gyakorlata, amelyet mechanikus értelmezhetőségnek neveznek, betekintést enged abba, hogy mi zajlik a neurális hálózat mélyén, a figyelem számítási "áramköreiben". Felfoghatja úgy, mint egy szoftver szétszedését, ahogy egy órát vagy egy PC-t, hogy lássa annak részeit és kitalálja, hogyan működik.

Az egyik Poli és csapata által idézett munka Nelson Elhage, az AI startup Anthropic kutatójának kísérletei. Ezek a kísérletek szétszedik a Transformer programokat, hogy lássák, mit csinál a figyelem.

Lényegében Elhage és csapata azt találta, hogy a figyelem a legalapvetőbb szintjén nagyon egyszerű számítógépes műveletekkel működik, mint például egy szó kimásolása a legutóbbi bemenetről és beillesztése a kimenetbe.

Például, ha valaki elkezd beírni egy nagy nyelvi modellprogramba, például a ChatGPT-be egy mondatot a Harry Potter és a varázslók kövéből, például "Mr. Dursley a Grunnings nevű cég igazgatója volt...", akkor egyszerűen csak beírja, hogy "D-u-r-s", a név eleje elegendő lehet ahhoz, hogy a program a "Dursley" név kiegészítésére szólítson fel, mert látta a nevet a Sorcerer's Stone egy korábbi mondatában. A rendszer képes kimásolni a memóriából az "l-e-y" karakterek rekordját a mondat automatikus kiegészítéséhez.

A figyelmi művelet azonban a négyzetes összetettségi problémába ütközik, ahogy a szavak mennyisége nő és nő. A figyelemfelhívás futtatásához több szóra van szükség az úgynevezett "súlyokra" vagy paraméterekre.

Ahogy a szerzők írják: "A Transformer blokk egy hatékony eszköz a sorozatmodellezéshez, de nem mentes a korlátaitól. Az egyik legfigyelemreméltóbb a számítási költség, amely gyorsan növekszik a bemeneti sorozat hosszának növekedésével."

Bár a ChatGPT és a GPT-4 technikai részleteit az OpenAI nem hozta nyilvánosságra, feltételezhető, hogy több billió ilyen paraméterrel rendelkeznek. E paraméterek futtatásához több GPU-chipre van szükség az Nvidiától, ami növeli a számítási költségeket.

A négyzetes számítási költség csökkentése érdekében Poli és csapata a figyelemfelhívást az úgynevezett „konvolúcióra” cseréli, amely az AI-programok egyik legrégebbi művelete, amelyet még az 1980-as években finomítottak. A konvolúció csak egy szűrő, amely ki tudja választani az adatok elemeit, legyen szó a digitális fénykép képpontjairól vagy a mondatban szereplő szavakról.

Poli és csapata egyfajta keveredést végez: Daniel Y. Fu Stanford-kutató és csapata által végzett munka során konvolúciós szűrőket alkalmaznak a szavak sorozataira, és ezt kombinálják David Romero tudós és kollégái munkájával a Vrije Universiteit Amsterdamban. amely lehetővé teszi a program számára, hogy menet közben változtassa a szűrőméretet. Ez a rugalmas alkalmazkodás képessége csökkenti a költséges paraméterek vagy súlyok számát, amelyekkel a programnak rendelkeznie kell.

A hiéna olyan szűrők kombinációja, amelyek egymásra épülnek anélkül, hogy a neurális hálózati paraméterek jelentős növekedésével járnának.

A mash-up eredménye, hogy egy konvolúciót korlátlan mennyiségű szövegre lehet alkalmazni anélkül, hogy egyre több paraméterre lenne szükség, hogy egyre több adatot másolhassunk. Ez egy "figyelemmentes" megközelítés, ahogy a szerzők fogalmaznak.

"A hiéna üzemeltetői nagy odafigyeléssel képesek jelentősen csökkenteni a minőségi különbségeket" - írja Poli és csapata, "hasonló zavart és downstream teljesítményt érve el kisebb számítási költségvetéssel." A zavarodottság egy szakkifejezés, amely arra utal, hogy mennyire kifinomult a válasz, amelyet egy program, például a ChatGPT generál.

A Hiéna képességeinek bemutatására a szerzők egy sor benchmark alapján tesztelik a programot, amelyek meghatározzák, hogy egy nyelvi program mennyire jó a különféle mesterségesintelligencia-feladatokban.

Az egyik teszt a The Pile, egy 825 gigabájtos szöveggyűjtemény, amelyet 2020-ban az Eleuther.ai, egy non-profit AI-kutató szervezet állított össze. A szövegeket "kiváló minőségű" forrásokból gyűjtötték össze, mint például a PubMed, az arXiv, a GitHub, az Egyesült Államok Szabadalmi Hivatala és mások, így a források szigorúbb formájúak, mint például a Reddit-beszélgetések.

A program legfontosabb kihívása a következő szó létrehozása volt, amikor egy csomó új mondatot kapott bemenetként. A Hyena program az OpenAI eredeti, 2018-as GPT-programjával egyenértékű pontszámot tudott elérni, 20%-kal kevesebb számítási művelettel - „az első figyelemmentes, konvolúciós architektúra, amely megfelel a GPT minőségének”, kevesebb művelettel - írják a kutatók.

A Hyena az OpenAI eredeti GPT-programját 20%-kal kevesebb számítási művelettel tudta felvenni.

Ezután a szerzők a SuperGLUE néven ismert érvelési feladatokon tesztelték a programot, amelyet 2019-ben vezettek be a New York-i Egyetem, a Facebook AI Research, a Google DeepMind egysége és a Washingtoni Egyetem tudósai.

Például, amikor megadják a következő mondatot: "A testem árnyékot vetett a fűre", és az ok két alternatíváját, "kelt a nap" vagy "nyírták a füvet", és arra kérték, hogy válasszuk ki az egyiket vagy a másikat, a programnak megfelelő kimenetként a "kelt a nap" kifejezést kell generálnia.

Több feladatban a Hiéna program a GPT egy verziójához hasonló vagy ahhoz közeli pontszámokat ért el, miközben a képzési adatok felénél kevesebbre oktatták.

Még érdekesebb, hogy mi történt, amikor a szerzők felmutatták a bemenetként használt kifejezések hosszát: több szó jobb teljesítményjavulást jelent. A szavaknak is felfogható 2048 "token" mellett a Hiénának kevesebb időre van szüksége egy nyelvi feladat elvégzéséhez, mint a figyelemfelhíváshoz.

A szerzők szerint 64 000 tokennél "a hiéna felgyorsulása eléri a 100-szorosát" - ez százszoros teljesítményjavulás.

Poli és csapata azzal érvel, hogy nem csupán más megközelítést próbáltak ki a Hiénával, hanem "áttörték a négyzetes gátat", minőségi változást okozva abban, hogy milyen nehéz egy programnak az eredményeket kiszámítani.

Azt sugallják, hogy a későbbiekben a minőségben is jelentős változások következnek be: "A négyzetes akadály áttörése kulcsfontosságú lépés a mély tanulás új lehetőségei felé, mint például a teljes tankönyvek kontextusként való felhasználása, hosszú formátumú zene generálása vagy gigapixel méretű képek feldolgozása, "írják.

A szerzők azt írják, hogy a Hiéna több ezer és ezer szón keresztül hatékonyabban ható szűrőt használhat, ami azt jelenti, hogy gyakorlatilag nem lehet határt szabni egy nyelvi program lekérdezésének "kontextusának". Valójában felidézheti a szövegek vagy a korábbi beszélgetések olyan elemeit, amelyek távol állnak az aktuális beszélgetés fonalától - akárcsak a mérföldekre vadászó hiénák.

"A hiéna üzemeltetőinek határtalan kontextusa van" - írják. "Nevezetesen nincsenek mesterségesen korlátozva például lokalitás által, és képesek megtanulni a hosszú távú függőségeket a [input] elemei között."

Sőt, a szavak mellett a program különböző modalitású adatokra is alkalmazható, például képekre, esetleg videóra és hangokra.

Fontos megjegyezni, hogy a cikkben bemutatott Hyena program kicsi a GPT-4-hez vagy akár a GPT-3-hoz képest. Míg a GPT-3-nak 175 milliárd paramétere vagy súlya van, addig a Hyena legnagyobb változata csak 1,3 milliárd paraméterrel rendelkezik. Ennélfogva még várni kell, hogy a Hyena mennyire lesz eredményes a GPT-3-mal vagy a 4-gyel való teljes összehasonlításban.

De ha az elért hatékonyság a Hiéna program nagyobb verzióira érvényes, akkor ez egy új paradigma lehet, amely éppoly elterjedt, mint a figyelem az elmúlt évtizedben.

Poli és csapata arra a következtetésre jutott: "Az egyszerűbb szubkvadratikus tervek, mint például a Hiéna, amelyek egy sor egyszerű vezérelvre és a mechanikus értelmezhetőségi referenciaértékekre vonatkozó értékelésre épülnek, megalapozhatják a hatékony nagy modelleket."