Mi is pontosan az AI PC? És vegyél egyet 2025-ben?
A szervezetek a befektetés megtérülése miatt a gépi tanuláshoz fordulnak. Azok, akik valós időben csinálják, vezetik a listákat.
A valós idejű gépi tanulást alkalmazó szervezetek állítólag megnövekedett megtérülést tapasztalnak
Miután az Egyesült Államokban, Európában és Kínában nagy internetes vállalatok gépi tanulási és infrastrukturális mérnökeivel beszélgettünk, két vállalatcsoport jött létre. Az egyik csoport több száz millió dollárt fektetett be az infrastruktúrába, hogy lehetővé tegye a valós idejű gépi tanulást, és már megtérült a befektetése. A másik csoport még mindig kíváncsi arra, hogy van-e értéke a valós idejű gépi tanulásnak.
Úgy tűnik, hogy az a tény, hogy a befektetés megtérüléséről szóló jelentéstétel jó módja a figyelem felkeltésének, nem tűnik elveszettnek Chip Huyennél. Huyen író és informatikus, aki a valós idejű gépi tanulás infrastruktúráján dolgozik. Ő írta a valós idejű gépi tanulással kapcsolatos eredményeinek fenti bevezetőjét, hogy kikristályosítsa az általa és kollégáival felhalmozott növekvő tapasztalatokat.
Huyen olyan cégekkel dolgozott együtt, mint a Netflix, az Nvidia, a Primer és a Snorkel AI, mielőtt megalapította saját (lopakodó) startupját. A Stanfordban végzett, ahol gépi tanulási rendszerek tervezését is tanítja, és 2019-ben és 2020-ban a LinkedIn Top Voice volt.
Más szóval, Huyen nagyon jó helyzetben van ahhoz, hogy beszámoljon arról, amit a ZDNet munkatársa, Tony Baer "az operációs rendszerek és az elemzések régóta megfoghatatlan céljának" nevezett a 2022-es adatkilátásaiban: a mozgásban lévő adatok (streaming) egyesítése a nyugalmi adatokkal (adatbázisban vagy adattóban lévő adatok). Ennek végső célja az lenne, hogy elérjük azt a fajta megtérülést, amelyről Huyen beszámol.
Gépi tanulási előrejelzések és rendszerfrissítések valós időben
Huyen elemzése valós idejű gépi tanulási modellekre és rendszerekre vonatkozik 2 szinten. Az 1. szint az online előrejelzések: ML rendszerek, amelyek valós időben előrejelzéseket készítenek, amelyekhez a valós időt ezredmásodperctől másodpercig terjedő nagyságrendűként határozza meg. A 2. szint a folyamatos tanulás: ML rendszerek, amelyek új adatokat tartalmaznak és valós időben frissülnek, amelyekhez a valós időt percek nagyságrendjében határozza meg.
Az 1. szintű rendszerek fontosságának lényege, hogy Huyen szerint "nem számít, milyen nagyszerűek az ML modellek, ha csak ezredmásodpercek alatt tartanak az előrejelzések elkészítése, a felhasználók valami másra fognak kattintani". Ahogy kifejti, a gyors előrejelzések "nem megoldása" az, ha kötegelt offline állapotban készítik őket, tárolják és szükség esetén lekérik őket.
Ez akkor működhet, ha a bemeneti tér véges - pontosan tudja, hány lehetséges bemenetre kell előrejelzést készítenie. Az egyik példa az, amikor filmajánlásokat kell generálnia a felhasználók számára - pontosan tudja, hány felhasználó van. Így rendszeres időközönként, például néhány óránként előrejelezheti az egyes felhasználók javaslatait.
Annak érdekében, hogy a felhasználói beviteli terület véges legyen, sok alkalmazás arra kényszeríti a felhasználókat, hogy a nyílt végű lekérdezések helyett kategóriák közül válasszanak - jegyzi meg Huyen. Ezután példákat mutat be arra, hogy ez a megközelítés hogyan hozhat olyan eredményeket, amelyek ronthatják a felhasználói élményt, például a TripAdvisortól és a Netflixtől.
Bár szorosan kapcsolódik a felhasználói elkötelezettséghez/megtartáshoz, ez nem katasztrofális kudarc. A rossz eredmények katasztrofálisak lehetnek más területeken, például a csalások felderítésének autonóm járműveiben. A kötegelt előrejelzésekről az online előrejelzésekre való váltás lehetővé teszi a dinamikus funkciók használatát a relevánsabb előrejelzések készítéséhez.
Az ML rendszereknek két összetevővel kell rendelkezniük ahhoz, hogy ezt megtehessék - jegyzi meg Huyen. Gyors következtetésre van szükségük, azaz olyan modellekre, amelyek ezredmásodperces nagyságrendű előrejelzéseket tudnak készíteni. És valós idejű folyamatokra is szükségük van, azaz olyan folyamatokra, amelyek képesek feldolgozni az adatokat, bevinni azokat a modellekbe, és valós időben visszaadni az előrejelzést.
A gyorsabb következtetés elérése érdekében Huyen hozzáteszi, hogy a modellek gyorsabbak, kisebbek vagy hardveresek gyorsabbak lehetnek. A következtetésre, a TinyML-re és az AI-chipekre való összpontosítás, amellyel ebben a rovatban foglalkoztunk, tökéletesen illeszkedik ehhez, és természetesen ezek a megközelítések sem zárják ki egymást.
Huyen a streaming alapjainak és keretrendszereinek elemzésébe is belekezdett, ami már a kezdetektől fogva széles körű tudósítást kapott ezen a rovaton. Sok vállalat vált át a kötegelt feldolgozásról a streamfeldolgozásra, a kérésvezérelt architektúráról az eseményvezérelt architektúrára, és ez az olyan keretrendszerek népszerűségéhez kötődik, mint az Apache Kafka és az Apache Flink. Ez a változás még mindig lassú az Egyesült Államokban, de sokkal gyorsabb Kínában - jegyzi meg Huyen.
Számos oka van azonban annak, hogy a streaming nem népszerűbb. A vállalatok nem látják az előnyöket; mentális váltás és magas kezdeti infrastrukturális beruházás szükséges, a feldolgozási költség magasabb, és ezek a keretrendszerek nem Python-natívak, annak ellenére, hogy az Apache Beam segítségével igyekeznek áthidalni a szakadékot.
Huyen a "folyamatos tanulás" kifejezést részesíti előnyben az "online képzés" vagy az "online tanulás" helyett a valós időben frissített modelleken alapuló gépi tanulási rendszerek esetében. Amikor az emberek online képzést vagy online tanulást hallanak, azt gondolják, hogy a modellnek minden bejövő adatpontból tanulnia kell.
Nagyon kevés vállalat teszi ezt, mert ez a módszer katasztrofális felejtéstől szenved - a neurális hálózatok hirtelen elfelejtik a korábban tanult információkat, amikor új információkat tanulnak. Ráadásul drágább lehet egy tanulási lépést csak egy adatponton futtatni, mint egy kötegen.
Huyen 2020 decemberében végezte el a fenti elemzést. 2022 januárjában újra visszatért a témához. Bár véleménye szerint még néhány évre vagyunk a folyamatos tanulás általános elfogadásától, jelentős beruházásokat lát a vállalatok részéről az online következtetés felé való elmozdulás érdekében. Felvázolja az evolúciós előrehaladást az online előrejelzés felé.
Az online előrejelzés felé
Az 1. szakasz a kötegelt előrejelzés. Ebben a szakaszban az összes előrejelzés kötegelt formában kerül kiszámításra, és bizonyos időközönként, pl. 4 óránként vagy naponta generálódik. A kötegelt előrejelzés tipikus használati esetei az együttműködésen alapuló tartalomalapú javaslatok. A kötegelt előrejelzést használó vállalatok példái a DoorDash éttermi ajánlásai, a Reddit subreddit ajánlásai vagy a Netflix 2021 körüli ajánlásai.
Huyen megjegyzi, hogy a Netflix jelenleg a gépi tanulási előrejelzéseit az internetre helyezi át. Ennek részben az az oka, hogy az új vagy be nem jelentkezett felhasználók számára nincsenek előre kiszámított ajánlások, amelyek személyre szabottak. Mire a következő ajánláscsomag létrejön, ezek a látogatók már vásárlás nélkül távoztak, mert nem találtak semmi számukra relevánsat.
Huyen a kötegelt előrejelzés túlsúlyát az örökölt kötegelt rendszereknek, például a Hadoopnak tulajdonítja. Ezek a rendszerek nagyon hatékonyan tették lehetővé nagy mennyiségű adat időszakos feldolgozását, így amikor a vállalatok elkezdték a gépi tanulást, a meglévő kötegelt rendszereiket használták fel előrejelzések készítéséhez.
A 2. szakasz online előrejelzés kötegelt funkciókkal. A gépi tanulás jellemzői a modell felépítéséhez használt jelenség egyedi mérhető tulajdonságai vagy jellemzői. A kötegelt funkciók az előzményadatokból kinyert funkciók, gyakran kötegelt feldolgozással, más néven statikus jellemzők vagy előzményjellemzők.
Ahelyett, hogy előrejelzéseket hoznának létre a kérések beérkezése előtt, a szervezetek ebben a szakaszban előrejelzéseket hoznak létre a kérések beérkezése után. Valós időben gyűjtik a felhasználók tevékenységeit az alkalmazásaikban. Ezek az események azonban csak előre kiszámított beágyazások keresésére szolgálnak a munkamenet-beágyazások létrehozásához.
Itt Huyen a gépi tanulásba való beágyazásra utal. A beágyazások a vektorok ábrázolásának módjaként is felfoghatók, amelyekkel a gépi tanulási modellek működnek a valós világra vonatkozó információk ábrázolására.
A 2. szakasz rendszereivel kapcsolatban fontos megjegyezni, hogy a felhasználói műveletekből bejövő adatokat használják az előre kiszámított beágyazásokban lévő információk keresésére. Maguk a gépi tanulási modellek nem frissülnek; csak valós időben hoznak eredményeket.
Online előrejelző gépi tanulási rendszer architektúrája
A munkamenet-alapú előrejelzések célja Huyen szerint a konverzió (pl. az első látogatók új felhasználókká alakítása vagy átkattintási arány) és a megtartás növelése. Bővül azoknak a vállalatoknak a listája, amelyek már végeznek online következtetést, vagy online következtetést tartalmaznak a 2022-es ütemtervükben, beleértve a Netflixet, a YouTube-ot, a Robloxot, a Coveo-t stb.
Huyen megjegyzi, hogy minden egyes vállalat, amely áttért egy online következtetésre, amely beszélt vele, azt mondta neki, hogy nagyon elégedett a mutatóival. Arra számít, hogy a következő két évben a legtöbb ajánlórendszer munkamenet-alapú lesz: minden kattintást, minden megtekintést, minden tranzakciót arra használnak, hogy közel valós időben friss, releváns ajánlásokat generáljanak.
A szervezeteknek frissíteniük kell modelljeiket a kötegelt előrejelzésről a munkamenet-alapú előrejelzésekre ebben a szakaszban. Ez azt jelenti, hogy előfordulhat, hogy új modelleket kell hozzáadniuk. A szervezeteknek a munkamenet-adatokat is integrálniuk kell az előrejelzési szolgáltatásukba. Ez általában streaming infrastruktúrával történhet, amely két összetevőből áll - írja Huyen.
Az első rész egy streamelési átvitel, például a Kafka, az AWS Kinesis vagy a GCP Dataflow, a streamelési adatok (a felhasználók tevékenységei) áthelyezéséhez. A második rész egy streamelési számítási motor, például a Flink SQL, a KSQL vagy a Spark Streaming a streamelési adatok feldolgozásához.
Sokan úgy vélik, hogy az online előrejelzés kevésbé hatékony, mind a költség, mind a teljesítmény szempontjából, mint a kötegelt előrejelzés, mivel a kötegelt előrejelzések feldolgozása hatékonyabb, mint az előrejelzések egyenkénti feldolgozása. Huyen úgy véli, hogy ez nem feltétlenül igaz.
Ennek részben az az oka, hogy nincs szükség előrejelzések generálására azoknak a felhasználóknak, akik nem látogatnak online előrejelzéssel rendelkező webhelyet. Ha az összes felhasználónak csak 2%-a jelentkezik be naponta, és minden felhasználóhoz minden nap előrejelzések jönnek létre, akkor az előrejelzések 98%-ának előállításához használt számítás kárba vész. Ennek a szakasznak a kihívásai a következtetési késésben, a streaming infrastruktúra beállításában és a kiváló minőségű beágyazásokban lesznek.
Online előrejelzés összetett streamelési és kötegelt funkciókkal
A Huyen evolúciós skálájának 3. szakasza egy online előrejelzés összetett streaming és kötegelt funkciókkal. A streamelési funkciók a streamelési adatokból kinyert funkciók, gyakran adatfolyam-feldolgozással, más néven dinamikus funkciókkal vagy online funkciókkal.
Ha a 2. szakaszban lévő vállalatok igényelnek némi adatfolyam-feldolgozást, a 3. szakaszban lévő vállalatok sokkal több streamelési funkciót használnak. Például, miután a felhasználó rendet tesz a Doordash-en, szükség lehet kötegelt funkciókra és streaming funkciókra is a szállítási idő becsléséhez.
A kötegelt funkciók magukban foglalhatják az étterem átlagos elkészítési idejét a múltban, míg a streaming funkciók ebben a pillanatban tartalmazhatják, hogy hány más rendelésük van, és hány kézbesítő áll rendelkezésre.
A 2. szakaszban tárgyalt munkamenet-alapú javaslatok esetében ahelyett, hogy csak elembeágyazásokat használna a munkamenet beágyazásához, olyan streamelési funkciók használhatók, mint például a felhasználó által a webhelyen töltött idő vagy az elem elmúlt 24 órában történt vásárlásainak száma.
Példák a vállalatokra ebben a szakaszban a Stripe, az Uber, a Faire olyan felhasználási esetekben, mint a csalások felderítése, a hitelbírálat, a vezetés és a kézbesítés becslése, valamint az ajánlások.
Az egyes előrejelzések adatfolyam-jellemzőinek száma több száz, ha nem több ezer lehet. A streamfunkció-kinyerési logika összetett lekérdezéseket igényelhet különböző dimenziók mentén való illesztéssel és összesítéssel. Ezeknek a funkcióknak a kinyeréséhez hatékony adatfolyam-feldolgozó motorokra van szükség.
Huyen szerint van néhány fontos követelmény a gépi tanulási munkafolyamatok ebbe a szakaszba való áthelyezéséhez. Az első egy kiforrott streamelési infrastruktúra hatékony adatfolyam-feldolgozó motorral, amely elfogadható késéssel képes kiszámítani az összes streamelési funkciót. A második egy funkciótár a materializált funkciók kezeléséhez és a streamfunkciók konzisztenciájának biztosításához a betanítás és az előrejelzés során.
A harmadik egy modellbolt. A streamfunkciót a létrehozás után ellenőrizni kell. Annak érdekében, hogy egy új funkció valóban segítse a modell teljesítményét, hozzá kell adni egy modellhez, amely hatékonyan hoz létre egy új modellt - mondja Huyen. Ideális esetben a modelltárolónak segítenie kell az új streamelési funkciókkal létrehozott modellek kezelését és értékelését, de a modelleket is értékelő modelltárolók még nem léteznek - jegyzi meg.
Végül, de nem utolsósorban egy jobb fejlesztési környezet. Az adattudósok jelenleg az előzményadatokkal dolgoznak, még akkor is, ha streamelési funkciókat hoznak létre, ami megnehezíti az új streamelési funkciók kidolgozását és ellenőrzését.
Mi lenne, ha közvetlen hozzáférést biztosítanánk az adattudósoknak az adatfolyamokhoz, hogy gyorsan kísérletezhessenek és validálhassák az új adatfolyam-funkciókat, kérdezi Huyen. Ahelyett, hogy az adattudósok csak az előzményadatokhoz férnének hozzá, mi lenne, ha a jegyzetfüzeteikből is hozzáférnének a bejövő adatfolyamokhoz?
Ez ma már lehetségesnek tűnik, például a Flink és a Kafka notebook integrációival. Bár nem vagyunk biztosak abban, hogy ezek megfelelnek-e annak, amit Huyen elképzel, fontos, hogy itt a teljes képet lássuk.
Ez egy bonyolult téma, és Huyen a technológiailag legfejlettebb szervezetekkel kapcsolatos tapasztalatai alapján vázolja fel az utat. És még nem is érintettük a 2. szintet - a gépi tanulási rendszereket, amelyek új adatokat tartalmaznak és valós időben frissülnek.
Azonban, hogy bezáruljon a kör, ha Huyen tapasztalata alapján bármi is lehet, a nyereség indokolhatja a befektetést.