A Databricks 1,3 milliárd dolláros vásárlása a MosaicML induló mesterséges intelligenciájú vállalkozásból az adatbázis jövőjéért folytatott harc

A MosaicML mesterséges intelligencia segítségével azon dolgozik, hogy újra feltalálja, mi is az adatbázis.

Naveen Rao, [balra] a MosaicML társalapítója és vezérigazgatója, valamint Hanlin Tang, társalapító és technológiai igazgató. A vállalat képzési technológiáit a „szakértők építésére” alkalmazzák, és a nagy nyelvi modelleket hatékonyabban kezelik a vállalati adatok kezelésére.

Hétfőn a Databricks, egy tízéves San Franciscó-i szoftvergyártó bejelentette, hogy 1,3 milliárd dollárért felvásárolja a MosaicML-t, egy hároméves San Francisco-i székhelyű startupot, amely a mesterséges intelligencia laboron túlra való kiterjesztésére összpontosít.

Az ügylet nemcsak a generatív mesterséges intelligencia fehérjén lévő eszközök iránti lelkesedés jele, hanem a modern felhőalapú adatbázis-piac változó természetének is.

A félvezető veteránokkal dolgozó MosaicML felépített egy Composer nevű programot, amely egyszerűvé és megfizethetővé teszi az AI programok bármely szabványos verziójának, például az OpenAI GPT-jének alkalmazását, és drámai módon felgyorsítja a program fejlesztését, a kezdeti szakaszt, amelyet egy ember képzésének neveznek. neurális hálózat.

A vállalat idén bevezette a felhő alapú kereskedelmi szolgáltatásokat, ahol a vállalkozások térítés ellenében neurális hálózatot képezhetnek, és következtetéseket, előrejelzéseket hajthatnak végre a felhasználói kérdésekre válaszul.

A MosaicML megközelítésének mélyrehatóbb eleme azonban azt jelenti, hogy az adatokkal való munkavégzés egész területe - például a hagyományos relációs adatbázis - teljesen újra feltalálható.

"A neurális hálózati modellek tulajdonképpen szinte egyfajta adatbázisnak tekinthetők, különösen, ha generatív modellekről beszélünk" - mondta Naveen Rao, a MosaicML társalapítója és vezérigazgatója a ZDNET-nek adott interjúban az üzletkötés előtt.

"Nagyon magas szinten az adatbázis végpontok halmaza, amelyek jellemzően nagyon strukturáltak, tehát általában valamilyen adat sorai és oszlopai, majd ezek alapján az adatok alapján van egy séma, amelyre rendszerezhető. - magyarázta Rao.

A hagyományos relációs adatbázisokkal, mint például az Oracle, vagy a dokumentumadatbázisokkal, például a MongdoDB-vel ellentétben, mondta Rao, ahol a séma előre el van rendelve, egy nagy nyelvi modellnél "a sémát az [adatokból] fedezik fel, látens reprezentációt hoz létre. az adatok alapján rugalmas." És a lekérdezés is rugalmas, ellentétben az olyan adatbázisok rögzített kereséseivel, mint az SQL, amely uralja a hagyományos adatbázisokat.

„Tehát alapvetően - tette hozzá Rao -, ön vette az adatbázist, lazított a bemeneti, sémája és kimeneti korlátain, de ez egy adatbázis. Egy nagy nyelvi modell formájában egy ilyen adatbázis ráadásul nagy mennyiségű adatot képes kezelni, amelyek elkerülték a hagyományos strukturált adattárakat.

"Egész csomó könyvet el tudok olvasni egy szerzőtől, és lekérdezhetek ötleteket és kapcsolatokat azokban a könyvekben, amit nem lehet csak szöveggel megtenni" - mondta Rao.

Az LLM-ben az ügyes felszólítás segítségével a prompt környezet rugalmas módokat kínál az adatbázis lekérdezésére. "Amikor a megfelelő módon szólítja fel, a felszólítás által létrehozott kontextus miatt ráveszi, hogy produkáljon valamit" - magyarázta Rao. "És tehát ebből lekérdezheti az eredeti adatok aspektusait, ami egy elég nagy fogalom, amely sok mindenre vonatkozhat, és azt hiszem, valójában ezért nagyon fontosak ezek a technológiák."

A MosaicML-munka egy széles körű mozgalom része, amely az úgynevezett generatív AI-programokat, például a ChatGPT-t a gyakorlati üzleti célok szempontjából relevánsabbá teszi.

Például a Snorkel, egy három éves, San Franciscó-i AI startup olyan eszközöket kínál, amelyek segítségével a vállalatok olyan függvényeket írhatnak, amelyek automatikusan létrehozzák a címkézett képzési adatokat az úgynevezett alapozó modellekhez - a létező legnagyobb neurális hálókhoz, mint például az OpenAI GPT-je. -4.

Egy másik startup, az OctoML pedig a múlt héten mutatott be egy szolgáltatást a következtetések kiszolgálásának megkönnyítésére.

A Databricks felvásárlása a MosaicML-t egy élénk, nem relációs adatbázis-piacra hozza, amely évek óta az adattár paradigmáját a sorokon és oszlopokon túlmutatóan elmozdítja.

Ebbe beletartozik a Hadoop adattója, a rajta működő technikák, valamint az Apache Spark térképi és redukciós paradigmája, amelynek vezető támogatója a Databricks. A piac magában foglalja a streaming adattechnológiákat is, ahol az adatok tárolása bizonyos értelemben magában az adatfolyamban, az úgynevezett "adatfolyamban" lehet, mint például a Confluent által támogatott Apache Kafka szoftver.

A MosaicML, amely az ügylet előtt 64 millió dollárt gyűjtött össze, olyan nyelvi modellekkel vonzotta a vállalkozásokat, amelyek nem annyira a ChatGPT űrlap általános képviselői, hanem inkább a domain-specifikus üzleti felhasználási esetekre összpontosítanak, amit Rao "építési szakértőknek" nevezett.

A mesterséges intelligencia - beleértve a generatív mesterséges intelligenciát is - uralkodó trendje az, hogy egyre általánosabb programokat készítenek, amelyek képesek a legkülönbözőbb területeken végrehajtani a feladatokat, a videojátékoktól a chaten keresztül a versek írásáig, képaláírások, kódírásokig. , és még egy robotkar vezérlése is blokkokat rak össze.

A ChatGPT iránti lelkesedés azt mutatja, hogy mennyire lenyűgöző lehet egy ilyen széles program, ha tetszőleges számú kérés kezelésére használható.

Mégis, a mesterséges intelligencia egyének és intézmények általi vadon történő felhasználását valószínűleg sokkal koncentráltabb megközelítések uralják, mert sokkal hatékonyabbak lehetnek.

"Egy adott tartományhoz létrehozhatok egy kisebb modellt, amely jelentősen felülmúl egy nagyobb modellt" - mondta Rao a ZDNET-nek.

A MosaicML a teljesítményével szerzett hírnevet azzal, hogy bemutatta rátermettségét az MLPerf benchmark tesztekben, amelyek megmutatják, milyen gyorsan lehet betanítani egy neurális hálózatot. A mesterséges intelligencia felgyorsításának titkai közé tartozik az a megfigyelés, hogy a kisebb neurális hálózatok, amelyek nagyobb hangsúlyt kapnak, hatékonyabbak lehetnek.

Ezt az ötletet alaposan megvizsgálta az MIT tudósai, Jonathan Frankle és Michael Carbin 2019-es tanulmányában, amely abban az évben elnyerte a legjobb tanulmány díjat a Tanulási Képviseletek Nemzetközi Konferenciáján. A lap bevezette a "lottójegy-hipotézist", azt az elképzelést, hogy minden nagy neurális háló tartalmaz olyan "alhálózatokat", amelyek ugyanolyan pontosak lehetnek, mint a teljes hálózat, de kevesebb számítási erőfeszítéssel.

Frankle és Carbin a MosaicML tanácsadói voltak.

A MosaicML kifejezetten a Google DeepMind egysége által feltárt technikákra támaszkodik, amelyek megmutatják, hogy optimális egyensúly van a betanítási adatok mennyisége és a neurális hálózat mérete között. A képzési adatok mennyiségének akár kétszeresére való növelésével egy kisebb hálózat sokkal pontosabb, mint egy nagyobb, azonos típusú hálózat.

Mindezen hatékonysági előnyöket Rao a hálózatok felgyorsításának egyfajta Moore-törvényében foglalta magában. A Moore-törvény a félvezető hüvelykujjszabály, amely nagyjából azt feltételezi, hogy a tranzisztorok mennyisége egy chipben 18 havonta megduplázódik, ugyanazon az áron. Ez az a gazdasági csoda, amely lehetővé tette a PC-forradalmat, majd az okostelefonok forradalmát.

A Rao verziójában a neurális hálók minden generációval négyszer gyorsabbak lehetnek, csupán az intelligens számítástechnika trükkjeit a MosaicML Composer eszközzel.

Számos meglepő meglátás származik egy ilyen megközelítésből. Az egyik, ellentétben azzal a gyakran ismételt mondattal, hogy a mesterséges intelligencia gépi tanulási formái hatalmas mennyiségű adatot igényelnek, előfordulhat, hogy a kisebb adatkészletek jól működnek, ha az adatok optimális egyensúlyában alkalmazzák őket, és modellezik a DeepMind munkáját. Más szóval, az igazán nagy adatok nem biztos, hogy jobbak.

Ellentétben a gigantikus általános neurális hálókkal, mint például a GPT-3, amelyet az interneten mindenre kiképeznek, a kisebb hálózatok egy vállalat egyedi tudásának tárházát jelenthetik a saját domainjével kapcsolatban.

„Az infrastruktúránk szinte a háttérrendszerré válik az ilyen típusú hálózatok kiépítéséhez az emberek adataira” - magyarázta Rao. "És teljes oka van annak, hogy az embereknek saját modelleket kell megépíteniük."

"Ha Ön a Bank of America, vagy ha a hírszerző közösség tagja, nem használhatja a GPT-3-at, mert a Redditen van kiképezve, és egy csomó olyan dolgot kioktattak, amelyekben akár személyazonosításra alkalmas adatok is lehetnek, és olyan cuccok, amelyek használatát kifejezetten nem engedélyezték” - mondta Rao.

Emiatt a MosaicML része volt annak a törekvésnek, hogy a nagy nyelvi modellek nyílt forráskódú modelljeit elérhetővé tegyék, hogy az ügyfelek tudják, milyen programok hatnak az adataikra. Ezt a nézetet osztják a generatív mesterséges intelligencia más vezetői is, mint például a Stability.ai alapítója és vezérigazgatója, Emad Mostaque, aki májusban azt mondta a ZDNET-nek: "Semmiképpen nem használhatsz fekete doboz modelleket" a világ legértékesebb adataihoz, beleértve a vállalati adatokat is. adat.

A MosaicML múlt csütörtökön nyílt forráskódként adta ki a nyelvi modell legújabb verzióját - amely 30 milliárd paramétert vagy neurális súlyt tartalmaz - MPT-30B néven. A vállalat azt állítja, hogy az MPT-30B felülmúlja az OpenAI GPT-3 minőségét. Mióta a vállalat május elején bevezette a nyílt forráskódú nyelvi modelleket, több mint kétmillióan töltötték le a nyelvi modelleket.

Bár a séma automatikus felfedezése gyümölcsözőnek bizonyulhat az adatbázis-innováció szempontjából, fontos észben tartani, hogy a nagy nyelvi modelleknél még mindig vannak problémák, például hallucinációk, ahol a program helytelen válaszokat ad, miközben ragaszkodik azok valódiságához.

"Az emberek valójában nem értik, hogy amikor kérdezel valamit a ChatGPT-től, az sokszor nem helyes, és néha olyan helyesen hangzik, mint egy igazán jó bullsh*t művész" - mondta Rao.

"Az adatbázisok elvárják az abszolút helyességet, a kiszámíthatóságot", "sok olyan dolog alapján, amelyet az elmúlt 30, 40 év során az adatbázistérben kialakítottak, és amelyeknek igaznak kell lenniük, vagy legalábbis nagyrészt igaznak kell lenniük valamiért. ennek új módja” - jegyezte meg Rao.

"Az emberek úgy tekintenek rá [nagy nyelvi modellekre], mintha minden problémájukat megoldaná" - mondta Rao a vállalati érdeklődésről. - Találjuk ki, milyen anyák és csavarok vezethetnek oda.