Milliárdossá tehet a mesterséges intelligencia 2025-ben?
Az NVIDIA nemrég jelentette be a Hoppert, egy új GPU-architektúrát, amely jelentős teljesítményjavulást ígér az AI számítási feladatokhoz. A motorháztető alá nézünk, hogy megfejtjük, hogy a Transformer AI modellekre helyezett hangsúly radikális újratervezést jelent-e, és megnézzük a szoftvercsomag frissítéseit.
Az NVIDIA ismét megtette, de ezúttal egy csavarral - úgy tűnt, hogy kölcsönvesz egy oldalt a verseny játékkönyvéből. Az NVIDIA GTC-n, amely az AI-ipar egyik legfontosabb eseményévé vált, a vállalat bejelentette hardverarchitektúrájának és termékeinek legújabb iterációját. Íme a bejelentések bontása és azok jelentése az ökoszisztéma egésze számára.
Hopper: Az NVIDIA új GPU architektúrája
A hétfőn kezdődött és csütörtökig tartó GTC 900+ munkamenetet tartalmaz. Több mint 200 000 fejlesztő, kutató és adattudós regisztrált 50+ országból. A GTC 2022 vitaindítóján az NVIDIA alapítója és vezérigazgatója, Jensen Huang rengeteg hírt jelentett be az adatközpontok és a nagy teljesítményű számítástechnika, a mesterséges intelligencia, a tervezési együttműködés és a digitális ikrek, a hálózatépítés, az autóipar, a robotika és az egészségügy területén.
Huang kerete az volt, hogy "a vállalatok feldolgozzák, finomítják adataikat, mesterséges intelligencia szoftvereket készítenek... intelligenciagyártókká válni." Ha a cél az, hogy az adatközpontokat "AI-gyárakká" alakítsák át, ahogy az NVIDIA fogalmaz, akkor a Transformers-t ennek középpontjába kell helyezni.
A bejelentések középpontjában az új Hopper GPU architektúra állt, amelyet az NVIDIA "a gyorsított számítástechnika következő generációjának" nevez. A Grace Hopperről, az úttörő amerikai informatikusról elnevezett új architektúra a két évvel ezelőtt elindított NVIDIA Ampere architektúrát követi. A vállalat bejelentette első Hopper-alapú GPU-ját is, az NVIDIA H100-at.
Az NVIDIA azt állítja, hogy a Hopper nagyságrenddel nagyobb teljesítményugrást hoz elődjéhez képest, és ez a bravúr hat áttörést jelentő innováción alapul. Nézzük át őket, gyorsan jegyezzük fel, hogyan viszonyulnak a versenytársakhoz.
Először is, a gyártás. A 80 milliárd tranzisztorból épült, az NVIDIA gyorsított számítási igényeihez tervezett élvonalbeli TSMC 4N eljárással készült H100 jelentős előrelépéseket tartalmaz az AI, a HPC, a memória sávszélessége, az összekapcsolás és a kommunikáció felgyorsítása érdekében, beleértve a közel 5 terabájt/másodperc külső kapcsolatot. Gyártási szinten az olyan feltörekvők, mint a Cerebras vagy a Graphcore , szintén feszegetik a lehetőségek határait.
Az NVIDIA H100 GPU, az első, amely az új Hopper architektúrát használja
Másodszor, többpéldányos GPU (MIG). A MIG technológia lehetővé teszi, hogy egyetlen GPU-t hét kisebb, teljesen elszigetelt példányra osztson a különböző típusú feladatok kezeléséhez. A Hopper architektúra akár 7-szeresére bővíti a MIG képességeit az előző generációhoz képest azáltal, hogy biztonságos több-bérlős konfigurációkat kínál felhőkörnyezetben minden GPU-példányon. A Run:AI, az NVIDIA partnere, valami hasonlót kínál szoftverrétegként, töredékes GPU-megosztás néven.
Harmadszor, a bizalmas számítástechnika. Az NVIDIA azt állítja, hogy a H100 a világ első olyan gyorsítója, amely bizalmas számítási képességekkel rendelkezik az AI-modellek és az ügyféladatok védelmére a feldolgozás során. Az ügyfelek bizalmas számítástechnikát is alkalmazhatnak az összevont tanulásra az adatvédelemre érzékeny iparágakban, például az egészségügyben és a pénzügyi szolgáltatásokban, valamint a megosztott felhőinfrastruktúrákban. Ezt a funkciót máshol nem láttuk.
Negyedik, 4. generációs NVIDIA NVLink. A legnagyobb AI-modellek felgyorsítása érdekében az NVLink egy új külső NVLink-kapcsolóval kombinálva kiterjeszti az NVLink-et a szerveren túli felskálázási hálózatként, és akár 256 H100 GPU-t is csatlakoztathat az előző generációhoz képest 9-szer nagyobb sávszélességgel az NVIDIA HDR Quantum InfiniBand használatával. Ez ismét NVIDIA-specifikus, bár a versenytársak gyakran saját speciális infrastruktúrájukat is kihasználják hardverük csatlakoztatására.
Ötödször, DPX-utasítások a dinamikus programozás felgyorsításához. A dinamikus programozás egyszerre matematikai optimalizálási módszer és számítógépes programozási módszer, amelyet eredetileg az 1950-es években fejlesztettek ki. A matematikai optimalizálás szempontjából a dinamikus programozás általában a döntés egyszerűsítését jelenti azáltal, hogy az idő múlásával döntési lépések sorozatára bontja. A dinamikus programozás elsősorban a sima rekurzió optimalizálása.
Az NVIDIA megjegyzi, hogy a dinamikus programozást az algoritmusok széles skálájában használják, beleértve az útvonal-optimalizálást és a genomikát, és akár 40-szeresére is felgyorsíthatja a végrehajtást a CPU-khoz képest, és akár 7-szeresére is felgyorsíthatja a végrehajtást az előző generációs GPU-khoz képest. Nem tudunk közvetlen megfelelőről a versenyben, bár sok AI chip feltörekvő is kihasználja a párhuzamosságot.
A hatodik újítás az, amelyet a legfontosabbnak tartunk: egy új Transformer motor. Ahogy az NVIDIA megjegyzi, a transzformátorok a természetes nyelvi feldolgozás standard modelljei, és az egyik legfontosabb mélytanulási modell, amelyet valaha feltaláltak. A H100 gyorsító transzformátormotorja úgy lett kialakítva, hogy az előző generációhoz képest akár 6-szorosára gyorsítsa ezeket a hálózatokat anélkül, hogy elveszítené a pontosságot. Ez további elemzést érdemel.
A transzformátormotor a Hopper szívében
Az NVIDIA H100 szívében álló új transzformátormotor címsorát tekintve az Intel építésze, Raja M. Koduri megjegyzései jutottak eszünkbe a ZDNet Tiernan Ray-jéhez. Koduri megjegyezte, hogy a mátrixszorzások gyorsulása ma már a chipek teljesítményének és hatékonyságának alapvető mérőszáma, ami azt jelenti, hogy minden chip neurális hálózati processzor lesz.
Koduri természetesen a helyén volt. Az Intel saját erőfeszítései mellett ez az, ami az AI chipek új generációját hajtotta végre. Látva, hogy az NVIDIA egy transzformátormotorra hivatkozik, elgondolkodtunk azon, hogy a vállalat radikálisan újratervezte-e GPU-it. A GPU-kat eredetileg nem mesterséges intelligencia számítási feladatokhoz tervezték, csak véletlenül jók voltak bennük, és az NVIDIA-nak volt előrelátása és éleslátása ahhoz, hogy ökoszisztémát építsen köréjük.
Ha azonban mélyebben belemegyünk az NVIDIA saját elemzésébe a Hopper architektúráról, úgy tűnik, hogy a radikális újratervezés fogalma eloszlott. Bár a Hopper bemutat egy új streaming multiprocesszort (SM), amely számos teljesítmény- és hatékonysági fejlesztést tartalmaz, ennyire megy. Ez nem meglepő, tekintve az NVIDIA GPU-k köré épülő ökoszisztéma puszta súlyát, valamint a radikális újratervezéssel járó hatalmas frissítéseket és esetleges inkompatibilitásokat.
A Hopper fejlesztéseit lebontva úgy tűnik, hogy a memória nagy része van ennek. Ahogy a Facebook termékmenedzsere a PyTorch, a népszerű gépi tanulási képzési könyvtár elmondta a ZDNetnek: "A modellek egyre nagyobbak és nagyobbak, nagyon-nagyon nagyok, és nagyon drága a betanításuk." A legnagyobb modelleket manapság gyakran nem lehet teljes egészében a GPU-t kísérő memóriaáramkörökben tárolni. A Hopper gyorsabb, több és az SM-ek között megosztott memóriával rendelkezik.
Egy másik lendületet az NVIDIA új, negyedik generációs tenzormagjai adnak, amelyek akár 6-szor gyorsabbak chipről chipre az A100-hoz képest. A tenzormagokat pontosan a mátrix szorzásához használják. A H100-ban egy új FP8 adattípust használnak, ami 4-szer gyorsabb számítást eredményez az előző generációs 16 bites lebegőpontos opciókhoz képest. Az egyenértékű adattípusoknál még mindig 2-szeres gyorsulás van.
A H100 számítási fejlesztésének összegzése
Ami az úgynevezett "új transzformátormotort" illeti, kiderült, hogy az NVIDIA ezt a kifejezést használja "a szoftver és az egyedi NVIDIA Hopper Tensor Core technológia kombinációjára, amelyet kifejezetten a transzformátormodell betanításának és következtetésének felgyorsítására terveztek".
Az NVIDIA megjegyzi, hogy a transzformátormotor intelligensen kezeli és dinamikusan választ az FP8 és a 16 bites számítások között, automatikusan kezeli az FP8 és a 16 bites közötti újraöntést és skálázást minden rétegben, hogy akár 9-szer gyorsabb mesterséges intelligencia-képzést és akár 30-szor gyorsabb AI-következtetési sebességet biztosítson nagy nyelvi modelleken az előző generációs A100-hoz képest.
Tehát bár ez nem radikális újratervezés, a teljesítmény és a hatékonyság javulásának kombinációja 6-szoros gyorsulást eredményez az Ampere-hez képest, amint azt az NVIDIA műszaki blogja részletezi. Az NVIDIA a transzformátormodellek teljesítményének javítására összpontosít egyáltalán nem helytelen.
A transzformátor modellek képezik a ma széles körben használt nyelvi modellek, például a BERT és a GPT-3 gerincét. Eredetileg természetes nyelvi feldolgozási esetekre fejlesztették ki, sokoldalúságukat egyre inkább alkalmazzák a számítógépes látásban, a gyógyszerkutatásban és egyebekben, amint azt a State of AI lefedettségünkben dokumentáltuk. Az NVIDIA által megosztott mérőszám szerint az elmúlt 2 évben a mesterséges intelligenciával kapcsolatban közzétett kutatások 70%-a transzformátorokon alapul.
A dolgok szoftveres oldala: jó hír az Apache Spark felhasználóknak
De mi a helyzet a dolgok szoftveres oldalával? A korábbi GTC-közleményekben a szoftvercsomagok frissítései a hírek kulcsfontosságú részét képezték. Ebben az esetben, míg az NVIDIA által hangolt heurisztika, amely dinamikusan választ az FP8 és az FP16 számítások között, az új transzformátormotor belső kulcsfontosságú része, a külső szoftvercsomag frissítései kevésbé tűnnek fontosnak ehhez képest.
Az NVIDIA Triton Inference Server és a NeMo Megatron keretrendszer a nagy nyelvi modellek betanítására frissítéseket kap. Ugyanígy a Riva, a Merlin és a Maxin is - egy beszédalapú AI SDK, amely előre betanított modelleket, végpontok közötti ajánló AI-keretrendszert, valamint hang- és videóminőség-javító SDK-t tartalmaz. Amint azt az NVIDIA kiemelte, ezeket az AT&T, a Microsoft és a Snapchat használják.
Az NVIDIA CUDA-X könyvtáraihoz 60 SDK-frissítés is található. Az NVIDIA úgy döntött, hogy kiemeli az olyan feltörekvő területeket, mint a gyorsuló kvantumáramkör-szimuláció (cuQuantum általános elérhetőség) és a 6G fizikai réteg kutatása (Sionna általános elérhetősége). A legtöbb felhasználó számára azonban a jó hír valószínűleg az Apache Spark RAPIDS Accelerator frissítésében rejlik, amely több mint 3-szorosára gyorsítja a feldolgozást kódmódosítás nélkül.
Bár ez nem volt éppen kiemelkedő az NVIDIA bejelentéseiben, úgy gondoljuk, hogy annak kell lennie. Az Apache Spark felhasználók egyik napról a másikra történő 3-szoros gyorsulása kódmódosítás nélkül, mivel a Fortune 500 80 százaléka használja az Apache Sparkot az éles környezetben, nem kis hír. Nem ez az első alkalom, hogy az NVIDIA szeretetet mutat az Apache Spark felhasználóknak.
Összességében úgy tűnik, hogy az NVIDIA fenntartja lendületét. Bár a verseny kiélezett, az NVIDIA-nak sikerült megteremtenie az előnyt, radikális újratervezésre nem igazán van szükség.