A Cerebras egy óriási számítógéprendszert épített fel 27 millió mesterséges intelligencia maggal
A Condor Galaxy az első lépés a Cerebras és az Abu Dhabi G42-vel való együttműködésében, amely várhatóan több százmillió dollárt fog eredményezni egy több kontinenst átfogó fürtözött rendszerért.
A Cerebras társalapítója és vezérigazgatója, Andrew Feldman itt látható a CS-2 rendszerek csomagolóládáinak tetején állva, mielőtt a Colovore partnerének Santa Clarában, Kaliforniában települtek.
Andrew Feldman, az AI számítástechnika társalapítója és vezérigazgatója szerint a mesterséges intelligenciát övező hevület "nem a Szilícium-völgy, de még csak nem is az Egyesült Államok dolga, hanem az egész világon - ez egy globális jelenség" a Cerebras Systems elindítása.
Ennek szellemében a Cerebras csütörtökön bejelentette, hogy szerződést kötött az általa „a világ legnagyobb mesterséges intelligencia számára készült szuperszámítógépének”, a Condor Galaxy névre keresztelt, megbízója, a G42, egy ötéves, Abu Dhabiban működő befektetési cég nevében. az Egyesült Arab Emírségek.
A gép a neurális hálózatok "kiképzésére" koncentrál, a gépi tanulás azon részére, amikor egy neurális hálózat beállításait, "paramétereit" vagy "súlyait" olyan szintre kell hangolni, amely elegendő a második szakaszhoz. , jóslatok készítését, az úgynevezett „következtetési” szakaszt.
A Condor Galaxy a Cerebras és a G42 közötti több hónapos együttműködés eredménye - mondta Feldman -, és ez az első jelentős bejelentés stratégiai partnerségükről.
Az eredeti szerződés több mint százmillió dollárt ér a Cerebrasnak - mondta Feldman a ZDNET-nek adott interjújában. Ez végül többszörösére, több száz millió dolláros bevételre fog növekedni, ahogy a Cerebras több lépcsőben építi fel a Condor Galaxy-t.
A Condor Galaxy nevét a Földtől 212 millió fényévnyire található kozmológiai rendszerről kapta. A CG-1 névre keresztelt kezdeti konfigurációban a gép a Cerebras 32 speciális célú mesterséges intelligencia számítógépéből, a CS-2-ből áll, amelyek chipjei, a "Wafer-Scale-Engine" vagy WSE együttesen összesen 27 millió számítási mag, 41 terabájt memória és 194 billió bit/másodperc sávszélesség. Ezeket az AMD 36 352 EPYC x86 szerverprocesszora felügyeli.
A 32 CS-2 gép CG-1-ként kapcsolódik össze.
A gép 2 exa-floppal fut, vagyis másodpercenként milliárd milliárd lebegőpontos műveletet tud feldolgozni.
A nagyság a nagyság legújabb példája a 2016-ban tapasztalt félvezető- és hálózatépítő vállalkozók és innovátorok által alapított Cerebras által. A cég 2019-ben megdöbbentette a világot a WSE, a valaha készült legnagyobb chip bemutatásával, amely egy 12 hüvelykes félvezető lapka szinte teljes felületét elfoglalja. A 2021-ben bemutatott WSE-2 hajtja a CS-2 gépeket.
A CG-1-ben található CS-2-ket kiegészíti a Cerebras speciális célú "szövet" kapcsolója, a Swarm-X, és annak dedikált memória-hubja, a Memory-X, amelyek a CS-2-ek csoportosítására szolgálnak.
Az állítás, hogy ő a legnagyobb mesterséges intelligencia-szuperszámítógép, kissé hiperbolikus, mivel nincs általános nyilvántartás az AI-számítógépek méretéről. A szuperszámítógépek általános mérőszáma, a Prometeus GmbH által fenntartott TOP500-as lista az úgynevezett nagy teljesítményű számítástechnikai célokra használt hagyományos szuperszámítógépek listája.
Feldman szerint ezek a gépek nem összehasonlíthatók, mert az úgynevezett 64 bites pontossággal működnek, ahol minden operandust, a számítógép által feldolgozandó értéket hatvannégy bit képviseli a számítógép számára. A Cerebras rendszer az adatokat egyszerűbb formában, "FP-16"-nak nevezett formában ábrázolja, és minden rendszerhez csak tizenhat bitet használ.
A 64 bites precíziós osztályú gépekben a Frontier, az Egyesült Államok Energiaügyi Minisztériumának Oak Ridge National Laboratory szuperszámítógépe a világ legerősebb szuperszámítógépe, 1,19 exa-flops sebességgel. De nem lehet közvetlenül összehasonlítani a CG-1-gyel 2 exa flopnál - mondta Feldman.
Természetesen a CG-1 puszta számítása eltér a bolygó számos számítógépétől. „Gondoljon egyetlen olyan számítógépre, amely nagyobb számítási teljesítménnyel rendelkezik, mint félmillió Apple MacBook, amely együtt dolgozik egyetlen probléma valós idejű megoldásán” - ajánlotta Feldman.
A Condor Galaxy gép fizikailag nem Abu Dhabiban található, hanem a kaliforniai Colovore állambeli Santa Clara létesítményeiben van telepítve, egy tárhelyszolgáltató, amely a felhőszolgáltatások piacán versenyez az olyanokkal, mint az Equinix. A Cerebras korábban novemberben bejelentette, hogy partnerséget köt a Colovore-ral egy „Andromeda” névre keresztelt moduláris szuperszámítógépre, amellyel felgyorsítja a nagy nyelvi modelleket.
A CG-1 statisztikái az 1. fázisban
A CG-1 statisztikái a 2. fázisban
A többéves partnerség részeként a Condor Galaxy a CG-9-es verzión át fog lépni, mondta Feldman. A partnerség 2. fázisa, amely az idei év negyedik negyedévére várható, megduplázza a CG-1 lábnyomát, 64 CS-2-re, összesen 54 millió számítási maggal, 82 terabájt memóriával és 388 teraflop sávszélességgel. Ez a gép megduplázza az átviteli sebességet 4 exa-flop számításra.
Mindezt összeadva a partnerség 4. fázisában, amelyet 2024 második felében kell átadni, a Cerebras kilenc összekapcsolt rendszerből álló "konstellációt" fog összefűzni, amelyek mindegyike 4 exa-floppal fut. 36 exa-flop kapacitással a világ különböző pontjain, hogy az úgynevezett "a világ legnagyobb összekapcsolt AI szuperszámítógépe legyen".
"Ez az első a négy exa-flop gép közül, amelyeket az Egyesült Államokban a G42-nek építünk" - magyarázta Feldman -, majd további hatot fogunk építeni szerte a világon, összesen kilenc összekapcsolt, négy exa gépet. -flop gépek, amelyek 36 exa-flopot produkálnak."
A gép az első alkalom, hogy a Cerebras nem csak fürtözött számítógépes rendszert épít, hanem üzemelteti is az ügyfél számára. Ennek eredményeként a partnerség többféle bevételi lehetőséget biztosít a Cerebras számára.
A partnerség több száz millió dolláros közvetlen értékesítést tesz lehetővé a Cerebras G42-nek, mondta Feldman, miközben a partnerség különböző fázisain halad keresztül.
"Ez a szerződés nemcsak nagyobb, mint amennyit az összes többi startup eladott élete során, hanem a szándéka, hogy ne csak a jelenlegi százmillió [dollár] fölé nőjön, hanem annak kétszer-háromszorosa is" - mondta. utal a versengő AI startupokra, köztük a Samba Nova Systemsre és a Graphcore-ra.
Ezen túlmenően: „Együtt értékesítjük a többletkapacitást a felhőn keresztül”, ami azt jelenti, hogy a Cerebras többi ügyfele is bérelhet kapacitást a CG-1-ben, amikor azt a G42 nem használja. A partnerség "nyilvánvalóan teljesen új léptéket ad a felhőnknek" - mondta, így "most lehetőségünk van arra, hogy dedikált mesterségesintelligencia-szuperszámítógépeket használjunk szolgáltatásként".
Ez azt jelenti, hogy aki felhőalapú mesterséges intelligencia számítási kapacitásra vágyik, „ha akar, ráugorhat egy napra, egy hétre, egy hónapra a világ egyik legnagyobb szuperszámítógépére”.
A mesterséges intelligencia iránti ambíciók olyan nagyok, mint a gép. "Az elkövetkező 60 nap során be fogunk jelenteni néhány nagyon-nagyon érdekes modellt, amelyeket a CG-1-en képeztek ki" - mondta Feldman.
Feldman megjegyzi, hogy a G42 egy globális konglomerátum, amely mintegy 22 000 alkalmazottat foglalkoztat huszonöt országban, és kilenc működő vállalattal rendelkezik. A vállalat G42 Cloud leányvállalata üzemelteti a Közel-Kelet legnagyobb regionális felhőjét.
"A G42 és a Cerebras közös elképzelése az, hogy a Condor Galaxy-t a társadalom legsürgetőbb kihívásainak kezelésére fogják használni az egészségügy, az energiaügy, az éghajlatváltozással kapcsolatos intézkedések és egyebek területén" - mondta Talal Alkaissi, a G42 Cloud vezérigazgatója.
Egy vegyes vállalat a G42 és egy másik Abu Dhabi befektetési cég, a Mubadala Investments között. Co., M42, a világ egyik legnagyobb genomikai szekvenálója.
„Egyfajta úttörők a mesterséges intelligencia és az egészségügyi alkalmazások használatában Európában és a Közel-Keleten” - jegyezte meg Feldman, a G42 munkatársa. A vállalat az elmúlt 3 évben 300 AI-kiadványt készített.
"Ők [G42] olyasvalakit akartak, aki nagyon nagy mesterségesintelligencia-szuperszámítógépeket épített, és nagy AI-modellek fejlesztésében és megvalósításában, valamint nagyon nagy adathalmazok manipulálásában és kezelésében" - mondta Feldman. , az elmúlt kilenc hónapban valahogy nagyon csiszolódtunk."
A CG-1 gépek - hangsúlyozta Feldman - képesek lesznek egyre nagyobb neurális hálózati modellekre skálázni anélkül, hogy a szükséges többlet kódmennyiség többszörösét kellene igénybe venniük.
„A technológia egyik kulcseleme, hogy lehetővé teszi az olyan ügyfeleknek, mint a G42, és ügyfeleiknek, hogy mintegy gyorsan profitálhassanak gépeinkből” - mondta Feldman.
Egy diabemutatóban hangsúlyozta, hogy egy 1 milliárd paraméteres neurális hálózat, mint például az OpenAI GPT, hogyan helyezhető egyetlen Nvidia GPU chipre 1200 kódsorral. De ahhoz, hogy a neurális hálózatot egy 40 milliárdos paraméteres modellre méretezzük, amely 28 415 Nvidia GPU-n fut, a telepítéshez szükséges kódmennyiség csaknem 30 000 sorra emelkedik, mondta Feldman.
Egy CS-2 rendszer esetében azonban egy 100 milliárd paraméterű modell is futtatható ugyanazzal az 1200 sornyi kóddal.
A Cerebras azt állítja, hogy az Nvidia GPU-inak összefűzéséhez szükséges kódrobbanásokkal szemben egyre nagyobb neurális hálózati modellekre skálázható azonos mennyiségű kóddal.
"Ha egy 40 milliárdos vagy egy százmilliárdos paramétert, vagy egy 500 milliárdos paramétert szeretne beállítani, akkor pontosan ugyanazt az 1200 sornyi kódot használja" - magyarázta Feldman. "Ez valójában egy alapvető megkülönböztető tényező, hogy nem kell ezt megtenni" - írjon további kódot - mondta.
Feldman számára a legújabb alkotás mérete nemcsak önmagában a nagyságot jelenti, hanem egy kísérletet arra, hogy minőségileg eltérő eredményeket érjen el azáltal, hogy a legnagyobb chipről a legnagyobb fürtözött rendszerekre lép fel.
"Tudod, amikor elindítottuk a céget, azt gondolta, hogy menő számítógépek építésével segíthet megváltoztatni a világot" - elmélkedett Feldman. "És az elmúlt hét év során egyre nagyobb és nagyobb számítógépeket építettünk, és néhányat a legnagyobbak közül.
"Most azon az úton haladunk, ahol elképzelhetetlenül nagyot kell építenünk, és ez fantasztikus, hogy végigsétálunk az adatközponton, és látni fogjuk, ahogyan fogaskerekek zümmögnek."