Ha a ChatGPT mesterséges intelligencia által generált kódot állít elő az alkalmazásodhoz, kihez tartozik valójában?

Az AI számítógépgyártó hét nyílt forráskódú modellt adott ki, például az OpenAI GPT-jét, mint erőforrást a kutatói közösség számára.

A Cerebras Andromeda szuperszámítógépét hét, az OpenAI ChatGPT-jéhez hasonló nyelvi program betanítására használták.

A mesterséges intelligencia világa, különösen a „generatív AI” néven vadul népszerű, írásokat és képeket automatikusan létrehozó szeglete fennáll annak a veszélye, hogy bezárja látókörét, mert a cégek úgy döntenek, hogy nem teszik közzé a részleteket. kutatásaikról.

De a titoktartás felé fordulás arra késztethetett a mesterséges intelligencia világának egyes résztvevőit, hogy lépjenek közbe, és töltsék be a nyilvánosságra hozatal űrét.

Kedden a mesterséges intelligencia úttörője, a Cerebras Systems, amely egy dedikált mesterségesintelligencia-számítógépet és a világ legnagyobb számítógépes chipjét készíti, nyílt forráskódúként közzétette a generatív mesterségesintelligencia-programok több verzióját, amelyeket korlátozás nélkül használhatnak.

A programokat a Cerebras "képzi", ami azt jelenti, hogy a vállalat nagy teljesítményű szuperszámítógépe segítségével optimális teljesítményt nyújtanak, ezáltal csökkentve a külső kutatók által elvégzendő munkát.

"A vállalatok más döntéseket hoznak, mint egy-két éve, és mi nem értünk egyet ezekkel a döntésekkel" - mondta Andrew Feldman, a Cerebras társalapítója és vezérigazgatója a ZDNET-nek adott interjújában, utalva az OpenAI, a ChatGPT megalkotójának döntésére. nem publikált technikai részleteket, amikor ebben a hónapban nyilvánosságra hozta legújabb generatív mesterségesintelligencia-programját, a GPT-4-et, amely lépést széles körben kritizáltak az AI-kutató világban.

„Hiszünk egy nyitott, élénk közösségben - nem csak kutatókból, és nem csak három-négy, öt-nyolc LLM-fiúból, hanem egy élénk közösségben, amelyben startupok, középvállalatok és vállalatok nagy nyelvi modelleket képeznek ki. - jó nekünk, és jó másoknak is” - mondta Feldman.

A nagy nyelvi modell kifejezés a gépi tanulási elveken alapuló mesterséges intelligencia-programokra utal, amelyekben egy neurális hálózat rögzíti a szavak statisztikai eloszlását a mintaadatokban. Ez a folyamat lehetővé teszi egy nagy nyelvi modell számára, hogy megjósolja a sorozat következő szavát. Ez a képesség a népszerű generatív AI programok, például a ChatGPT alapja.

Ugyanez a fajta gépi tanulási megközelítés vonatkozik a generatív mesterséges intelligenciára más területeken is, mint például az OpenAI Dall-E, amely egy javasolt kifejezés alapján képeket generál.

A Cerebras hét nagy nyelvi modellt tett közzé, amelyek ugyanolyan stílusúak, mint az OpenAI GPT-programja, amely még 2018-ban elindította a generatív mesterségesintelligencia-őrületet. A kód elérhető a Hugging Face AI startup webhelyén és a GitHubon.

A programok mérete változó, 111 millió paramétertől vagy neurális súlytól tizenhárom milliárdig terjed. A több paraméter általánosságban véve erősebbé teszi az AI-programot, így a Cerebras kód számos teljesítményt biztosít.

A vállalat nemcsak a programok forrását tette közzé Python és TensorFlow formátumban, nyílt forráskódú Apache 2.0 licenc alatt, hanem a képzési rend részleteit is, amellyel a programok fejlett funkcionalitású állapotba kerültek.

Ez a feltárás lehetővé teszi a kutatóknak, hogy megvizsgálják és reprodukálják a Cerebras munkáját.

Feldman szerint a Cerebras kiadás az első alkalom, hogy egy GPT-stílusú programot nyilvánosságra hoznak "a legkorszerűbb edzéshatékonysági technikákat használva".

Más publikált mesterséges intelligencia oktatási munkák vagy technikai adatokat rejtettek el, például az OpenAI GPT-4-ét, vagy a programokat nem optimalizálták a fejlesztésük során, vagyis a programba betáplált adatokat nem igazították a program méretéhez, amint azt kifejtettük. a Cerebras műszaki blogbejegyzésében.

Az ilyen nagy nyelvi modellek köztudottan számításigényesek. A kedden nyilvánosságra hozott Cerebras alkotást tizenhat CS-2 számítógépből álló klaszteren fejlesztették ki, olyan számítógépek, amelyek akkora számítógépek, mint a kollégiumi hűtőszekrények, és amelyeket kifejezetten AI-stílusú programokra hangoltak. A cég által korábban nyilvánosságra hozott fürt Andromeda szuperszámítógépeként ismert, amely drámai mértékben csökkentheti az LLM-ek képzését az Nvidia több ezer GPU-lapkáján.

A keddi kiadás részeként a Cerebras felajánlotta az első nyílt forráskódú skálázási törvényt, amely egy benchmark szabály arra vonatkozóan, hogy az ilyen programok pontossága hogyan növekszik a nyílt forráskódú adatok alapján a programok méretével. A felhasznált adatkészlet a nyílt forráskódú The Pile, egy 825 gigabájtos szöveggyűjtemény, főleg szakmai és tudományos szövegekből, amelyet 2020-ban mutatott be az Eleuther non-profit laboratórium.

Az OpenAI és a Google DeepMind korábbi skálázási törvényei nem nyílt forráskódú képzési adatokat használtak.

A Cerebras korábban kiállt rendszerei hatékonysági előnyei mellett. Feldman szerint az igényes természetes nyelvi programok hatékony képzése a nyílt publikálás kérdéseinek középpontjában áll.

"Ha tud hatékonyságot elérni, megengedheti magának, hogy a nyílt forráskódú közösségbe helyezze a dolgokat" - mondta Feldman. "A hatékonyság lehetővé teszi, hogy ezt gyorsan és egyszerűen tegyük, és kivegyük a részünket a közösségért."

Az OpenAI és mások azért kezdik elzárni munkájukat a világ többi részétől, mert meg kell őrizniük a profit forrását a mesterséges intelligencia képzési költségeinek növekedésével szemben.

"Annyira drága, hogy úgy döntöttek, hogy ez egy stratégiai eszköz, és úgy döntöttek, hogy visszatartják a közösségtől, mert stratégiai fontosságú számukra" - mondta. „És szerintem ez egy nagyon ésszerű stratégia.

"Ez egy ésszerű stratégia, ha egy vállalat sok időt, erőfeszítést és pénzt szeretne befektetni, és nem osztja meg az eredményeket a világ többi részével" - tette hozzá Feldman.

Azonban "úgy gondoljuk, hogy ez kevésbé érdekes ökoszisztémát eredményez, és hosszú távon korlátozza a kutatás emelkedő hullámát" - mondta.

Feldman megfigyelte, hogy a vállalatok „készletre halmozhatnak” erőforrásokat, például adatkészleteket vagy modell-szakértelmet, ha felhalmozzák azokat.

"A kérdés az, hogy ezeket az erőforrásokat hogyan lehet stratégiailag felhasználni a tájban" - mondta. "Meggyőződésünk, hogy segíthetünk nyílt modellek bemutatásával, olyan adatok felhasználásával, amelyeket mindenki láthat."

Arra a kérdésre, hogy mi lehet a nyílt forráskódú kiadás terméke, Feldman megjegyezte: "Több száz különböző intézmény dolgozhat ezekkel a GPT-modellekkel, amelyek egyébként nem lettek volna képesek, és megoldják azokat a problémákat, amelyeket egyébként félre kellett volna tenni."