Mi is pontosan az AI PC? És vegyél egyet 2025-ben?

A belső reprezentációk adatspecifikus kimeneteinek elkerülésével a Meta egy általánosabb mesterséges intelligenciát céloz meg.

A verseny egy olyan neurális hálózat létrehozásáért folyik, amely többféle adatot képes feldolgozni - egy általánosabb mesterséges intelligencia, amely nem tesz különbséget az adattípusok között, hanem ugyanazon az alapstruktúrán belül képes összetörni őket.

A nagyon általános transzformátor az úgynevezett előképzéssé válik, amelyet aztán speciális neurális hálózatokra lehet alkalmazni bizonyos feladatok elvégzéséhez. Például a szerzők a data2vec-et használják előképzésként az úgynevezett "ViT", a "vision Transformer" felszerelésére, egy kifejezetten látási feladatokra tervezett neurális hálózatra, amelyet tavaly vezetett be Alekszej Dosovitszkij és kollégái a Google-nál. 

A Meta a tiszteletreméltó ImageNet képfelismerő verseny legjobb pontszámait mutatja.

Ha a ViT-n használják a képfelismerés szabványos ImageNet tesztjének megoldására, az eredmények a csomag tetején vannak, 84,1%-os pontossággal. Ez jobb, mint a Microsoft 83,2%-os pontszáma, amelyet a Hangbo Bao által vezetett ViT csapata kapott tavaly.

És ugyanez a data2vec Transformer olyan eredményeket ad ki, amelyek a legkorszerűbbek a beszédfelismeréshez, és amelyek versenyképesek, ha nem a legjobbak a természetes nyelvtanuláshoz:

A kísérleti eredmények azt mutatják, hogy a data2vec mindhárom modalitásban hatékony, új korszerűséget teremtve a ViT-B és a ViT-L számára az ImageNet-1K-n, javítva a beszédfelismerés beszédfeldolgozásában végzett legjobb korábbi munkákat, és a RoBERTa-val egyenrangú teljesítményt nyújtva a GLUE természetes nyelvi megértési benchmarkon. 

A lényeg az, hogy ez a neurális hálózat bármilyen módosítása nélkül történik, hogy a képekről szóljon, és ugyanez vonatkozik a beszédre és a szövegre is. Ehelyett minden bemeneti típus ugyanabba a hálózatba kerül, és ugyanazt a nagyon általános feladatot hajtja végre. Ez a feladat ugyanaz a feladat, amelyet a Transformer hálózatok mindig használnak, és amelyet "maszkos előrejelzésnek" neveznek. 

A data2vec maszkolt előrejelzésének módja azonban az "önfelügyelt" tanulás néven ismert megközelítés. Önfelügyelt környezetben a neurális hálózatot több szakaszon keresztül tanítják vagy fejlesztik. 

Először is, a hálózat elkészíti az adatbevitel együttes valószínűségének reprezentációját, legyen szó képekről, beszédről vagy szövegről. Ezután a hálózat második verziójában a bemeneti adatok egy része "elrejtve", felfedetlenül marad. Rekonstruálnia kell a hálózat első verziójának együttes valószínűségét, ami arra kényszeríti, hogy az üres helyek lényegében kitöltésével egyre jobb reprezentációt hozzon létre az adatokról. 

A data2vec megközelítés áttekintése.

A két hálózatot, az egyiket az együttes valószínűség teljes mintázatával, és a hiányos verziót, amelyet megpróbál teljesíteni, ésszerűen "Tanárnak" és "Tanulónak" nevezzük. A Diákhálózat megpróbálja fejleszteni az adatok érzékét, ha úgy tetszik, azáltal, hogy rekonstruálja azt, amit a Tanár már elért.

A modellek kódját a Githubon láthatja.

Hogyan teljesít a neurális hálózat a tanár és a diák között három nagyon különböző típusú adat esetén? A kulcs az, hogy az együttes valószínűség "célpontja" mindhárom adatesetben nem egy adott kimeneti adattípus, mint például a Transformer egy adott adattípushoz tartozó verzióiban, mint például a Google BERT vagy az OpenAI GPT-3. 

Ehelyett a data2vec egy csomó neurális hálózati réteget ragad meg, amelyek a neurális hálózaton belül, valahol középen vannak, és amelyek az adatokat képviselik, mielőtt azok végső kimenetként előállítanák. 

Ahogy a kutatók írják: "Módszerünk egyik fő különbsége [...] a maszkos előrejelzés végrehajtásán kívül olyan célok használata, amelyek a tanári hálózat több rétegének átlagolásán alapulnak." Pontosabban, "több neurális hálózati réteg reprezentációját regresszáljuk a felső réteg helyett", így "a data2vec megjósolja a bemeneti adatok látens reprezentációit".

Hozzáteszik: "Általában az FFN [előrecsatoló hálózat] kimenetét használjuk az egyes blokkok utolsó maradék kapcsolata előtt célként", ahol a "blokk" a neurális hálózati réteg transzformátor-megfelelője.

A lényeg az, hogy minden bemenő adattípus ugyanaz a kihívás lesz a diákhálózat számára, hogy rekonstruáljon valamit a tanár által összeállított neurális hálózaton belül.

Ez az átlagolás eltér a One Network To Crunch All Data létrehozásának más közelmúltbeli megközelítéseitől. Például tavaly nyáron a Google DeepMind egysége felajánlotta az úgynevezett "Perceiver"-t, a Transformer saját multimodális változatát. Az Perception neurális hálózat betanítása a szabványosabb folyamat egy olyan kimenet előállítására, amely választ ad egy címkézett, felügyelt feladatra, például az ImageNetre. Az önfelügyelt megközelítésben a data2vec nem használja ezeket a címkéket; csak megpróbálja rekonstruálni a hálózat belső adatreprezentációját. 

Még ambiciózusabb erőfeszítések várnak a szárnyakra. Jeff Dean, a Google mesterséges intelligencia erőfeszítéseinek vezetője októberben ugratott a "Pathways"-ről, és "következő generációs mesterséges intelligencia architektúrának" nevezte a multimodális adatfeldolgozáshoz.

Ne feledje, hogy a data2vec nagyon általános megközelítése egyetlen neurális hálóhoz több modalitás esetén még mindig sok információt tartalmaz a különböző adattípusokról. A kép, a beszéd és a szöveg mind az adatok előfeldolgozásával készül. Ily módon a hálózat multimodális aspektusa továbbra is az adatokkal kapcsolatos nyomokra támaszkodik, amelyeket a csapat "kis modalitás-specifikus bemeneti kódolóknak" nevez.

Még nem vagyunk abban a világban, ahol a neurális hálót úgy tanítják be, hogy egyáltalán nem érzékelik a bemeneti adattípusokat. Abban az időpontban sem tartunk, amikor a neurális hálózat képes lenne létrehozni egy reprezentációt, amely egyesíti az összes különböző adattípust, így a neurális háló kombinálva tanulja a dolgokat.

Ez a tény világossá válik a ZDNet és a kutatók közötti eszmecseréből. A ZDNet megkereste Baevskit és csapatát, és megkérdezte: "A célpontként szolgáló látens reprezentációk mindhárom modalitás kombinált kódolása egy adott időlépésben, vagy általában csak az egyik modalitás?"

Baevski és csapata azt válaszolta, hogy ez utóbbi esetről van szó, és válaszuk elég érdekes ahhoz, hogy hosszasan idézzék:

A látens változók nem a három modalitás kombinált kódolása. Minden modalitáshoz külön modelleket képezünk ki, de a modellek tanulási folyamata azonos. Ez a projektünk fő újítása, mivel korábban nagy különbségek voltak a modellek különböző modalitásokban való betanításában. Az idegtudósok úgy vélik, hogy az emberek hasonló módon tanulnak a hangokról és a vizuális világról. Projektünk azt mutatja, hogy az önfelügyelt tanulás ugyanúgy működhet a különböző modalitások esetében is.

Tekintettel a data2vec modalitás-specifikus korlátaira, egy neurális hálózat, amely valóban egy hálózat lehet, amely mindannyiukat uralja, továbbra is a jövő technológiája.