Milliárdossá tehet a mesterséges intelligencia 2025-ben?

Az olyan felhőóriások, mint az Amazon, a Google és a Meta, nem akarnak bezárva lenni az Nvidia InfiniBandjébe - mondja a chipgyártó. Azt akarják, hogy minden átkerüljön a szabványos Ethernetre.

A konvergens Etherneten vagy RoCE-n keresztüli RDMA-val az ethernet-váltás készen áll arra, hogy felváltsa az InfiniBand-et a GPU-k összekapcsolásaként, mondja az ethernet kapcsoló chip szállítója, a Broadcom.

A számítógépes hálózatok területén dolgozó szakemberek már egy ideje beszélnek egy második hálózatról. A szokásos hálózat az, amely összeköti az ügyfélszámítógépeket a szerverekkel, a LAN-t. A mesterséges intelligencia térnyerése létrehozott egy hálózatot a hálózat "mögött", egy "kibővíthető" hálózatot az AI-feladatok, például a mélytanulási programok futtatásához, amelyeket több ezer GPU-n kell kiképezni.

Ez ahhoz vezetett, amit a Broadcom szilíciumgyártó kritikus zsákutcának nevez. Az Nvidia, a mély tanulást futtató GPU-chipek domináns gyártója a chipek összekapcsolására szolgáló hálózati technológia domináns szállítójává válik, az InfiniBand technológiát használva, amelyet a Mellanox 2020-as felvásárlásakor adott hozzá.

Egyesek szerint az a veszély, hogy minden egy vállalathoz van kötve, nincs diverzifikáció és nincs mód olyan adatközpont felépítésére, ahol sok chip verseng. 

Az RDMA over Converged Ethernet vagy RoCE nevű új technológia megszünteti az InfiniBand és az Ethernet közötti késleltetési rést. A RoCE-vel egy nyílt szabvány győz az Nvidia GPU-k és az Infiniband szoros összekapcsolásával szemben. 

"Ha egyszer megkapod a RoCE-t, már nincs végtelen előny" - mondta Velaga. "Az Ethernet teljesítménye valójában megegyezik az InfiniBandével."

"Tézisünk az, hogy ha le tudjuk győzni az InfiniBand-et, chipről chipre, és van egy egész ökoszisztéma, amely valóban az Ethernetet keresi, akkor van egy receptje az infiniband Ethernettel való kiszorítására, és lehetővé teszi a GPU-k széles ökoszisztémájának sikerét" - mondta Velaga.

A felhőalapú számítástechnikai óriások, mint például az Amazon, "ragaszkodnak ahhoz, hogy a GPU-t csak egy szabványos hálózati interfészsel lehet eladni nekik, amely képes Etherneten keresztül továbbítani" - mondja Ram Velaga, a Broadcom Core Switching Group vezérigazgatója.

A GPU-k széles ökoszisztémájára való hivatkozás valójában utalás az AI-piac számos versengő szilíciumszolgáltatójára, akik új chiparchitektúrákat kínálnak. 

Köztük van egy sor jól finanszírozott startup, mint például a Cerebras Systems, a Graphcore és a SambaNova, de ide tartozik a felhőszolgáltatók saját szilíciuma is, mint például a Google saját Tensor Processing Unitja vagy TPU, és az Amazon Trainium chipje. Mindezeknek az erőfeszítéseknek több lehetősége lehetne, ha a számítási erőforrások nem függnének az Nvidia által értékesített egyetlen hálózattól.

"A nagy felhős srácok ma azt mondják: Saját GPU-kat akarunk építeni, de nincs InfiniBand szövetünk" - jegyezte meg Velaga. "Ha tudtok adni nekünk egy Ethernet-egyenértékű szövetet, akkor a többi dolgot egyedül is meg tudjuk csinálni."

A Broadcom arra fogad, hogy amint a késleltetési probléma megszűnik, nyilvánvalóvá válnak az InfiniBand gyengeségei, például a technológia által támogatott GPU-k száma. "Az InfiniBand mindig is egy olyan rendszer volt, amelynek volt egy bizonyos mérethatára, talán ezer GPU, mert nem igazán volt elosztott architektúrája." 

Ezenkívül az ethernet kapcsolók nemcsak a GPU-kat, hanem az Intel és az AMD CPU-kat is kiszolgálhatják, így a hálózati technológia egyetlen megközelítésbe való összevonása bizonyos gazdasági előnyökkel jár - javasolta Velaga. 

"Arra számítok, hogy ennek a piacnak a leggyorsabb elfogadása a GPU-k összekapcsolásából származik, és egy idő után valószínűleg arra számítok, hogy az egyensúly ötven-ötven lesz" - mondta Velaga, "mert ugyanaz a technológia lesz, mint a CPU összekapcsolásához és a GPU összekapcsolásához, és az a tény, hogy sokkal több CPU-t adnak el, mint GPU-t, normalizálódik a kötet." A GPU-k a sávszélesség nagy részét fogyasztják, míg a CPU-k több portot fogyaszthatnak egy ethernet-kapcsolón.

Ezzel a vízióval összhangban Velaga rámutat az AI-feldolgozás speciális képességeire, például összesen 256 portra 200 gigabit/másodperces Ethernet-porttal, ami a legtöbb kapcsolóchip. A Broadcom azt állítja, hogy az ilyen sűrű, 200 gigabites portkonfiguráció fontos a "lapos, alacsony késleltetésű AI/ML fürtök" engedélyezéséhez.

Bár az Nvidia nagy hatalommal rendelkezik az adatközpontok világában, az adatközpont GPU-k eladása idén várhatóan 16 milliárd dollárra rúg, a vásárlóknak, a felhőcégeknek is nagy hatalmuk van, és az előny az ő oldalukon van.

"A nagy felhős srácok ezt akarják" - mondta Velaga az InfiniBand ethernetre való átállásáról. "Amikor ezek a hatalmas felhők nagy vásárlóerővel rendelkeznek, megmutatták, hogy képesek rákényszeríteni az eladót a szétesésre, és ez az a lendület, amelyet meglovagolunk" - mondta Velaga. "Ezek a felhők valóban nem akarják ezt, és ragaszkodnak ahhoz, hogy a GPU-t csak egy szabványos hálózati interfészsel lehet eladni, amely képes Etherneten keresztül továbbítani. 

"Ez már megtörténik: nézd meg az Amazont, így vásárolnak, nézd meg a Metát, a Google-t, így vásárolnak."