Mi a ritkaság? A DeepSeek AI titka, amelyet az Apple kutatói tártak fel
A világot megrázó mesterséges intelligencia modell része annak a széles trendnek, amely többet préselnek ki a chipekből. Így működik.
A mesterséges intelligencia (AI) piacát - és az egész tőzsdét - a múlt hónapban megrázta a DeepSeek hirtelen népszerűsége, a nyílt forráskódú nagy nyelvi modell (LLM), amelyet egy kínai székhelyű fedezeti alap fejlesztett ki, amely bizonyos feladatokban felülmúlta az OpenAI legjobbjait, miközben sokkal kevesebbe került.
Ahogy a ZDNET munkatársa, Radhika Rajkumar részletezi, az R1 sikere rávilágít a mesterséges intelligencia hatalmas változására, amely lehetővé teheti a kisebb laboratóriumok és kutatók számára, hogy versenyképes modelleket hozzanak létre, és diverzifikálják a rendelkezésre álló lehetőségeket.
Miért működik olyan jól a DeepSeek?
Sikere annak köszönhető, hogy a mesterséges intelligencia mélytanulási formáin belül széles körű megközelítést alkalmaznak, hogy többet préseljenek ki a számítógépes chipekből a "ritkaság" néven ismert jelenség kihasználásával.
A ritkaságnak sokféle formája van. Néha ez magában foglalja az AI által használt adatok egy részének eltávolítását, ha ezek az adatok nem befolyásolják lényegesen a modell kimenetét.
Máskor a ritkaság magában foglalja a neurális hálózat teljes részeinek levágását, ha ez nem befolyásolja az eredményt.
A DeepSeek egy példa az utóbbira: a neurális hálók takarékos használata.
A legtöbb ember a DeepSeek-ben azonosított fő előrelépés az, hogy a neurális hálózat "súlyainak" vagy "paramétereinek" nagy részeit be- és kikapcsolhatja. A paraméterek határozzák meg, hogy a neurális hálózat hogyan alakíthatja át a bemenetet - a beírt promptot - generált szöveggé vagy képekké. A paraméterek közvetlen hatással vannak arra, hogy mennyi ideig tart a számítások végrehajtása. A több paraméter általában több számítási erőfeszítést jelent.
A ritkaság és szerepe a mesterséges intelligenciában
Az a képesség, hogy az LLM összes paraméterének csak egy részét használjuk, a többit pedig kikapcsoljuk, a ritkaság példája. Ez a ritkaság nagy hatással lehet arra, hogy mekkora vagy kicsi az AI-modell számítási költségvetése.
Az Apple AI kutatói egy január 21-én közzétett jelentésben elmagyarázták, hogy a DeepSeek és hasonló megközelítések hogyan használják a ritkosságot, hogy jobb eredményeket érjenek el egy adott számítási teljesítmény mellett.
Az Apple-nek nincs kapcsolata a DeepSeekkel, de a technológiai óriás saját mesterséges intelligencia-kutatást végez. Ezért a külső vállalatok, például a DeepSeek fejlesztései nagyrészt részét képezik az Apple folyamatos részvételének a mesterséges intelligencia kutatásában.
Az arXiv pre-print szerveren közzétett "Paraméterek vs FLOP-ok: Skálázási törvények az optimális ritka számára a szakértők keveréke nyelvi modellekhez" című cikkben Samir Abnar vezető szerző és más Apple kutatók, valamint az MIT munkatársa, Harshay Shah azt vizsgálták, hogy a teljesítmény hogyan változott, amikor kihasználták a ritkosságot a neurális háló egyes részeinek kikapcsolásával.
Abnar és csapata tanulmányait a Microsoft, a Google és a Stanford mesterséges intelligencia-kutatói által 2023-ban kiadott kódkönyvtár segítségével végezte, MegaBlocks néven. Világossá teszik azonban, hogy munkájuk alkalmazható a DeepSeekre és más legújabb innovációkra.
Abnar és a csapat azt kérdezi, hogy van-e "optimális" szint a ritkaságra a DeepSeekben és hasonló modellekben: adott számítási teljesítmény esetén van-e optimális szám ezekből az idegi súlyokból a be- vagy kikapcsoláshoz?
A kutatás azt sugallja, hogy a ritkaságot teljes mértékben számszerűsítheti az összes leállítható idegi súly százalékos arányaként, és ez a százalék megközelíti, de soha nem egyenlő az "inaktív" neurális háló 100% -ával.
A grafikonok azt mutatják, hogy egy adott neurális hálóhoz, egy adott számítási költségvetés mellett van egy optimális mennyiségű neurális háló, amely kikapcsolható a pontosság elérése érdekében. Ugyanaz a gazdasági ökölszabály igaz a személyi számítógépek minden új generációjára: vagy jobb eredmény ugyanannyi pénzért, vagy ugyanaz az eredmény kevesebb pénzért.
Egy adott méretű neurális hálózat teljes paramétereihez, adott mennyiségű számítási kapacitással egyre kevesebb paraméterre van szükség ahhoz, hogy azonos vagy jobb pontosságot érjen el egy adott AI benchmark teszten, például matematikán vagy kérdésmegválaszoláson.
Másképp fogalmazva, bármilyen számítási teljesítményt is használ, egyre inkább kikapcsolhatja a neurális hálózat egyes részeit, és ugyanazt vagy jobb eredményt érhet el.
A mesterséges intelligencia optimalizálása kevesebb paraméterrel
Ahogy Abnar és csapata technikai szempontból kijelentette: "A ritkaság növelése és a paraméterek teljes számának arányos növelése következetesen alacsonyabb előképzési veszteséghez vezet, még akkor is, ha rögzített képzési számítási költségvetés korlátozza." Az "előképzési veszteség" kifejezés az AI kifejezés arra, hogy mennyire pontos a neurális háló. Az alacsonyabb edzésveszteség pontosabb eredményeket jelent.
Ez a megállapítás megmagyarázza, hogy a DeepSeek kevesebb számítási teljesítménnyel rendelkezhet, de ugyanazt vagy jobb eredményt érheti el egyszerűen több hálózati rész leállításával.
A ritkaság olyan, mint egy varázslatos tárcsa, amely megtalálja az AI-modellhez és a rendelkezésre álló számításhoz legmegfelelőbbet.
Ugyanaz a gazdasági ökölszabály igaz a személyi számítógépek minden új generációjára: vagy jobb eredmény ugyanannyi pénzért, vagy ugyanaz az eredmény kevesebb pénzért.
Van még néhány részlet, amelyet figyelembe kell venni a DeepSeek kapcsán. Például egy másik DeepSeek innováció, amint azt Ege Erdil, az Epoch AI munkatársa kifejtette , egy matematikai trükk, amelyet "többfejű látens figyelemnek" neveznek. Anélkül, hogy túl mélyen belemennénk a gyomba, a többfejű látens figyelmet használják a memória és a sávszélesség egyik legnagyobb fogyasztójának, a memória-gyorsítótárnak a tömörítésére, amely a prompt legutóbb bevitt szövegét tárolja.
A ritkaságkutatás jövője
A részleteket félretéve, a legmélyebb pont ebben az erőfeszítésben az, hogy a ritkaság mint jelenség nem új keletű az AI-kutatásban, és nem is új megközelítés a mérnöki tudományban.
A mesterséges intelligencia kutatói évek óta kimutatták, hogy a neurális háló egyes részeinek kiküszöbölése összehasonlítható vagy még jobb pontosságot érhet el kevesebb erőfeszítéssel.
Az Nvidia versenytársa, az Intel évek óta a ritkaságot a kutatás kulcsfontosságú irányaként azonosította, hogy megváltoztassa a terület jelenlegi állását. A startupok ritkaságon alapuló megközelítései az elmúlt években az iparági benchmarkokon is magas pontszámot értek el.
A ritkaság varázslatos tárcsája nem csak a számítási költségeket borotválja, mint a DeepSeek esetében. A ritkaság a másik irányba is működik: egyre hatékonyabb mesterséges intelligencia számítógépeket készíthet.
A ritkaság varázslatos tárcsa mélyreható, mert nemcsak a gazdaságosságot javítja kis költségvetéssel, mint a DeepSeek esetében, hanem a másik irányba is működik: költsön többet, és még jobb előnyökhöz jut a ritkaság révén. Ahogy növeljük a számítási teljesítményt, az AI-modell pontossága javul - állapította meg Abnar és a csapat.
Azt javasolták: "A ritkaság növekedésével az érvényesítési veszteség minden számítási költségvetés esetében csökken, a nagyobb költségvetések pedig alacsonyabb veszteséget érnek el minden ritkasági szinten."
Elméletileg tehát egyre nagyobb modelleket készíthet egyre nagyobb számítógépeken, és jobb ár-érték arányt kaphat.
Ez a ritka munka azt jelenti, hogy a DeepSeek csak egy példa a széles kutatási területre, amelyet sok laboratórium már követ - és most még sokan ugranak be, hogy megismételjék a DeepSeek sikerét.