A Google DeepMind új RT-2 rendszere lehetővé teszi a robotok számára, hogy újszerű feladatokat hajtsanak végre

Egyre közelebb kerülünk a Terminátor-film cselekményének megéléséhez?

A mesterséges intelligencia fejlődésével egy olyan jövőbe tekintünk, amelyben minden eddiginél több robot és automatizálás áll rendelkezésre. Már most is körülvesznek bennünket - a robotporszívó, amely szakszerűen navigálhat otthonában, egy robot kisállattárs szórakoztatja szőrös barátait, és robotfűnyírók, amelyek átveszik a hétvégi teendőket. Úgy tűnik, hogy a The Jetsons valós életében éljük meg. De amilyen okosnak tűnnek, ezeknek a robotoknak megvannak a korlátai.

A Google DeepMind bemutatta az RT-2-t, az első vision-language-action (VLA) modellt a robotvezérléshez, amely hatékonyan emeli a robotikai játékot több szinttel feljebb. A rendszert az internetről származó szöveges adatokra és képekre képezték ki, hasonlóan a mesterséges intelligencia chatbotjai mögötti nagy nyelvi modellekhez, mint a ChatGPT és a Bing.

Otthoni robotjaink egyszerű feladatokat tudnak végrehajtani, amelyek végrehajtására programozták őket. Porszívózza fel például a padlót, és ha a bal oldali érzékelő falat érzékel, próbálja megkerülni azt. A hagyományos robotvezérlő rendszerek azonban nincsenek új helyzetek és váratlan változások kezelésére programozva - gyakran nem tudnak egyszerre több feladatot végrehajtani.

Az RT-2-t úgy tervezték, hogy az idő múlásával alkalmazkodjon az új helyzetekhez, tanuljon több adatforrásból, például a webből és a robotikai adatokból, hogy megértse a nyelvet és a vizuális bevitelt, és olyan feladatokat hajtson végre, amelyekkel soha nem találkozott, és amelyek végrehajtására még nem volt kiképezve.

"Egy webes méretű adatokra előre betanított vizuális nyelvi modell (VLM) tanul az RT-1 robotikai adatokból, hogy RT-2-vé, egy vizuális nyelvi cselekvési (VLA) modellé váljon, amely képes irányítani egy robotot" - mondta a Google. DeepMind.

Egy hagyományos robot megtanítható arra, hogy felvegye a labdát, és megbotlik, amikor felvesz egy kockát. Az RT-2 rugalmas megközelítése lehetővé teszi a robot számára, hogy edzen a labda felvételén, és kitalálja, hogyan állítsa be a végtagjait, hogy felvegyen egy kockát vagy más játékot, amilyet még soha nem látott.

Ahelyett, hogy az időigényes, valós, többmilliárdnyi adatponton végzett oktatás helyett, amelyet a hagyományos robotok igényelnek, ahol fizikailag kell felismerniük egy objektumot, és meg kell tanulniuk, hogyan kell felvenni, az RT-2 nagy mennyiségű adatra van kiképezve. ezt a tudást tettekké ültesse át, olyan feladatokat hajtson végre, amelyeket korábban soha nem tapasztalt.

"Az RT-2 azon képessége, hogy információkat tud átadni a cselekvéseknek, ígéretet jelent a robotok számára, hogy gyorsabban alkalmazkodjanak az új helyzetekhez és környezetekhez" - mondta Vincent Vanhoucke, a Google DeepMind robotika vezetője. "Az RT-2 modellek több mint 6000 robotkísérlet során végzett tesztelése során a csapat arra a következtetésre jutott, hogy az RT-2 a korábbi modellünkhöz, az RT-1-hez hasonlóan működött a képzési adataiban szereplő feladatoknál, vagyis a „látott" feladatoknál. És majdnem megduplázódott. teljesítménye újszerű, nem látott forgatókönyveken 62%-ra emelkedett az RT-1 32%-áról."

Néhány példa az RT-2 működésére, amelyeket a Google DeepMind tett közzé.

A DeepMind csapata két létező modellt, a Pathways Language and Image Model (PaLI-X) és a Pathways Language Model Embodied (PaLM-E) adaptált az RT-2 képzésére. A PaLI-X segít a modellnek a vizuális adatok feldolgozásában, hatalmas mennyiségű képre és vizuális információra tanítva, más megfelelő leírásokkal és címkékkel az interneten. A PaLI-X segítségével az RT-2 képes felismerni a különböző objektumokat, megérteni a környező jeleneteket a kontextus szempontjából, és a vizuális adatokat szemantikai leírásokhoz kapcsolja.

A PaLM-E segít az RT-2-nek a nyelv értelmezésében, így könnyen megértheti az utasításokat, és kapcsolatba hozhatja azokat a körülötte lévőkkel és azzal, amit éppen csinál.

Ahogy a DeepMind csapata ezt a két modellt az RT-2 gerinceként alakította át, létrehozta az új VLA-modellt, amely lehetővé teszi a robot számára, hogy megértse a nyelvet és a vizuális adatokat, és ezt követően generálja a szükséges műveleteket.

Az RT-2 önmagában nem robot - ez egy olyan modell, amely minden eddiginél hatékonyabban tudja irányítani a robotokat. Az RT-2-kompatibilis robotok a vizuális és nyelvi adatok felhasználásával különböző bonyolultságú feladatokat hajthatnak végre, például a fájlok ábécé szerinti rendezését a dokumentumokon lévő címkék elolvasásával és rendezésével, majd a megfelelő helyekre való elhelyezésével.

Komplex feladatokat is meg tudna oldani. Például, ha azt mondta, hogy „postáznom kell ezt a csomagot, de kifogytak a bélyegek”, az RT-2 meg tudja határozni, hogy mit kell először tenni, például keresni egy postát vagy bélyegeket árusító kereskedőt a közelben. csomagot, és onnan intézi a logisztikát.

"Az RT-2 nemcsak azt mutatja meg, hogy az AI fejlődése miként csapódik át gyorsan a robotikába, hanem óriási ígéretet mutat az általánosabb célú robotok számára" - tette hozzá Vanhoucke.

Reméljük, hogy ez az „ígéret” inkább a Jetsons cselekményének megélése felé hajlik, mint a Terminátoré.