A Meta mesterséges intelligencia világítóteste, LeCun feltárja a mély tanulás energiahatárát

Az úgynevezett energiaalapú modellek, amelyek a statisztikus fizikából kölcsönöznek fogalmakat, utat mutathatnak az "absztrakt előrejelzéshez" - mondja Yann LeCun, lehetővé téve a tervezésre képes mesterséges intelligencia "egységes világmodelljét".

Az úgynevezett energiaalapú modellek, amelyek a statisztikus fizikai fogalmakból kölcsönöznek, a mesterséges intelligencia mély tanulási formáihoz vezethetnek, amelyek absztrakt előrejelzéseket készítenek - mondja Yann LeCun, a Meta vezető tudósa.

Három évtizeddel ezelőtt Yann LeCun, a Bell Labs-nél formalizálta a gépi tanulás konvolúciós neurális hálózatoknak nevezett megközelítését, amely mélyen produktívnak bizonyult az olyan feladatok megoldásában, mint a képfelismerés. A CNN-ek, ahogy közismertek, a mesterséges intelligencia mély tanulásának igáslovai, és 2019-ben elnyerték LeCunnak a rangos ACM Turing-díjat, amely a számítástechnikai Nobelnek felel meg. 

Manapság LeCun, aki egyszerre a New York-i Egyetem professzora és a Meta vezető tudósa, az elmúlt 30 év legizgatottabb - mondta a ZDNetnek egy múlt heti interjúban. Az ok: Az új felfedezések megfiatalítják a vizsgálatok hosszú sorát, amely ugyanolyan produktívnak bizonyulhat a mesterséges intelligencia területén, mint a CNN-ek.

A LeCun által feltárt új határt energiaalapú modelleknek nevezik. Míg a valószínűségi függvény "annak leírása, hogy egy valószínűségi változó vagy valószínűségi változók halmaza milyen valószínűséggel veszi fel az egyes lehetséges állapotokat" (lásd Deep Learning, Ian Goodfellow, Yoshua Bengio és Aaron Courville, 2019), az energiaalapú modellek leegyszerűsítik a két változó közötti összhangot. A statisztikus fizikából kölcsönözve az energiaalapú modellek azt állítják, hogy a két változó közötti energia növekszik, ha nem kompatibilisek,  és annál inkább összhangban vannak. Ez megszüntetheti a valószínűségi eloszlás "normalizálása" során felmerülő bonyolultságot.

Ez egy régi ötlet a gépi tanulásban, legalább az 1980-as évekig nyúlik vissza, de azóta történt előrelépés az energiaalapú modellek működőképesebbé tétele felé. LeCun az elmúlt években számos előadást tartott, miközben az üggyel kapcsolatos tanulmányai kifejlődtek, köztük egy előadást a princetoni Institute for Advanced Study-ban 2019-ben, amelyről a ZDNet számolt be.

A közelmúltban LeCun két cikkben írta le az energiaalapú modellkutatás jelenlegi helyzetét. "Barlow Twins", amelyet tavaly nyáron tettek közzé a Facebook AI Research és a VICReg kollégáival, amelyet januárban tettek közzé a FAIR és a francia Inria az École normale supérieure-ben. 

Érdekes párhuzamok vannak a kvantumelektrodinamikával ezek egy részében, amint azt LeCun elismerte a beszélgetés során, bár nem erre összpontosít. Arra összpontosít, hogy milyen előrejelzéseket lehet előterjeszteni az AI-rendszerek számára.

A modern energiaalapú modellek LeCun által kifejlesztett változatát felhasználva, amelyet "közös beágyazási modellnek" nevez, LeCun úgy véli, hogy a mély tanulási rendszereknek "óriási előnye" lesz, nevezetesen, hogy "az előrejelzés egy absztrakt reprezentációs térben történik". 

LeCun szerint ez megnyitja az utat a "világ absztrakt reprezentációinak előrejelzéséhez". Az absztrakt előrejelzési képességekkel rendelkező mélytanulási rendszerek általános értelemben a tervezés útját jelenthetik, ahol az ilyen absztrakciós előrejelző gépek "halmazait" rétegezni lehet tervezési forgatókönyvek előállításához, amikor a rendszer következtetési módban van. 

Ez fontos eszköz lehet ahhoz, hogy elérjük azt, ami LeCun szerint egy egységes "világmodell" lehet, amely előmozdítaná az általa autonóm mesterséges intelligenciának nevezett mesterséges intelligenciát, ami képes megtervezni a függőségek modellezésével a forgatókönyvek és a kép, a beszéd és a világgal kapcsolatos egyéb bemenetek módozatai között. 

Az alábbiakban a Zoomon keresztüli beszélgetésünk szerkesztett változata következik.

ZDNet: Először is, hogy segítsen nekünk tájékozódni, nemrégiben beszélt az önfelügyelt tanulásról a gépi tanulásban, és a felügyelet nélküli tanulás kifejezés is létezik. Mi a kapcsolat a felügyelet nélküli tanulás és az önfelügyelt tanulás között?

Yann LeCun: Nos, úgy gondolom, hogy az önfelügyelt tanulás a felügyelet nélküli tanulás egy sajátos módja. A felügyelet nélküli tanulás egy kicsit terhelt kifejezés, és nem túl jól definiált a gépi tanulás kontextusában. Amikor ezt megemlíted, az emberek a klaszterezésre és a PCA-ra [elvkomponens-elemzésre], az ilyen típusú dolgokra és a különféle vizualizációs módszerekre gondolnak. Tehát az önfelügyelt tanulás alapvetően egy kísérlet arra, hogy lényegében a felügyelt tanulási módszereket használják a felügyelet nélküli tanuláshoz: felügyelt tanulási módszereket használunk, de neurális hálót képezünk be ember által biztosított címkék nélkül. Tehát vegyünk egy darabot egy videóból, mutassuk meg a videó egy részét a gépnek, és kérjük meg, hogy jósolja meg, mi történik ezután a videóban, például. Vagy mutass neki két videót, és kérdezd meg: Ez annak a folytatása? Nem azt kérik, hogy jósolja meg, hanem azt, hogy mondja meg, hogy ez a két jelenet kompatibilis-e. Vagy mutass neki két különböző nézetet ugyanarról a tárgyról, és kérdezd meg: Ez a két dolog ugyanaz a tárgy. Szóval, ez a fajta dolog. Tehát nincs emberi felügyelet abban az értelemben, hogy a rendszernek megadott összes adat lényegében bemenet.

ZDNet: Az elmúlt években számos előadást tartott, többek között a New Jersey állambeli Princetonban található Institute for Advanced Study-ban (IAS) 2019-ben , és nemrégiben a Baidu által szervezett februári előadáson a mély tanulás energiaalapú megközelítéseinek módszereiről. Ezek az energiaalapú modellek a felügyelet nélküli tanulás önfelügyelt szegmensébe tartoznak?

YL: Igen. Minden lehet úgy, ahogy feltételezzük egy energiaalapú modell kontextusában. Adok neked egy X-et és egy Y-t; X a megfigyelés, és Y olyasvalami, aminek a modellnek meg kell ragadnia az X-hez viszonyított függőséget. Például X a videó egy szegmense, Y egy másik szegmens, és megmutatom X-et és Y-t a rendszernek, és meg kell mondania, hogy Y X folytatása-e. Vagy két kép, egymás torz változata, vagy teljesen különböző tárgyak? Tehát az energia méri ezt a kompatibilitást vagy összeférhetetlenséget, igaz? Nulla lenne, ha a két darab kompatibilis lenne, és akkor néhány nagy számban nem. 

És két stratégiája van az energiaalapú modellek betanítására. Az első az, hogy megmutatja neki az X, Y kompatibilis párjait, és megmutatja neki az X, Y inkompatibilis párjait is. A videó két szegmense, amelyek nem egyeznek, két különböző objektum megtekintése. És így ezeknek [az inkompatibilis pároknak] azt akarod, hogy az energia magas legyen, ezért valahogy felfelé tolod az energiát. Míg az összeférhetetlenek esetében lenyomod az energiát. 

Ezek kontrasztív módszerek. És legalábbis bizonyos kontextusokban én találtam ki őket egy bizonyos típusú önfelügyelt tanuláshoz, az úgynevezett "sziámi hálókhoz". Régebben rajongtam értük, de már nem. Meggondoltam magam ezzel kapcsolatban. Úgy gondolom, hogy ezek a módszerek kudarcra vannak ítélve. Nem hiszem, hogy haszontalanok, de szerintem nem elegendőek, mert nem méretezhetők túl jól ezeknek a dolgoknak a dimenzióival. Van ez a vonal; Minden boldog pár ugyanúgy boldog, minden boldogtalan pár különböző módon boldogtalan. [Tolsztoj, Anna Karenina: "A boldog családok mind egyformák; minden boldogtalan család boldogtalan a maga módján."] 

Ugyanaz a történet. Csak néhány módja van annak, hogy két kép azonos vagy kompatibilis legyen; Sok-sok módja van annak, hogy két kép különbözzön, és a tér nagydimenziós. Tehát alapvetően exponenciálisan nagy számú kontrasztív energiamintára lenne szükség ahhoz, hogy ezek a kontrasztív módszerek működjenek. Még mindig elég népszerűek, de véleményem szerint nagyon korlátozottak. Tehát amit jobban szeretek, az a nem kontrasztív módszer vagy az úgynevezett regularizált módszerek. 

"Csak néhány módja van annak, hogy két kép azonos vagy kompatibilis legyen; Sokféleképpen lehet két kép különböző, és a tér nagydimenziós."

És ezek a módszerek azon az elképzelésen alapulnak, hogy az energiafüggvényt úgy fogod felépíteni, hogy a tér térfogata, amelynek az alacsony energiát adsz értéknek, korlátozott legyen. És értelmezhető a veszteségfüggvény vagy az energiafüggvény egy kifejezésével, amely azt mondja, hogy minimalizálja a tér térfogatát, amely valahogy alacsony energiát vehet igénybe. Sok példánk van erre. Az egyik az integrált, ritka kódolás, amely az 1990-es évekig nyúlik vissza. És ami igazán izgatott vagyok manapság, azok a nem kontrasztív módszerek, amelyeket az önfelügyelt tanulásra alkalmaznak.

ZDNet: És előadásaiban különösen arról beszélt, amit Ön "szabályozott látens változó energiaalapú modellnek", az RLVEB-nek nevez. Azt mondod, hogy ez az előremutató út, a 2020-as vagy 2030-as évek új konvolúciós neurális hálói?

YL: Nos, hadd fogalmazzak így: a konvolúciós hálózatok óta nem voltam annyira izgatott a gépi tanulás terén, oké? [nevet] Nem vagyok benne biztos, hogy az új konvolúciókról van szó, de ez tényleg olyasmi, ami miatt nagyon izgatott vagyok. Amikor az IAS-nél beszéltem, erre a szabályozott látens változó generatív modellre gondoltam. Generatív modellek voltak, mert amit csinálsz, ha olyasmire akarod alkalmazni, mint a videó előrejelzése, adsz neki egy videót, megkéred, hogy jósolja meg a videó következő szegmensét. 

Most az elmúlt néhány évben én is meggondoltam magam ezzel kapcsolatban. Nos, a kedvenc modellem nem egy generatív modell, amely megjósolja Y-t X-ből. Ezt nevezem közös beágyazási modellnek, amely X-et vesz, és egy kódolón keresztül futtatja, ha úgy tetszik, egy neurális hálón; veszi Y-t, és egy másik kódolón is átfuttatja; És akkor az előrejelzés ebben az absztrakt reprezentációs térben történik. Ennek óriási előnye van. 

Először is, miért gondoltam meg magam ezzel kapcsolatban? Meggondoltam magam, mert korábban nem tudtuk, hogyan kell ezt csinálni. Most van néhány módszerünk erre, amelyek valóban működnek. És ezek a módszerek az elmúlt két évben jelentek meg. Azokat, amelyeket nyomok, valójában kettőt készítettem; az egyik neve VIC-REG, a másik a Barlow Twins. 

ZDNet: És mit gondol, milyen előrelépést láthat ezen az érvelésen a következő öt-tíz évben?

YL: Azt hiszem, most már legalább van egy megközelítésünk, amely olyan rendszerek felé vezethet minket, amelyek megtanulnak előre jelezni az absztrakt térben. Megtanulhatják az absztrakt előrejelzést is, miközben megtanulhatják megjósolni, hogy mi fog történni az idő múlásával vagy az állapotok között abban az absztrakt térben. És ez elengedhetetlen elem, ha például egy autonóm intelligens rendszert akarunk, amelynek van valamilyen modellje a világról, amely lehetővé teszi, hogy előre megjósoljuk, mi fog történni a világban, mert a világ fejlődik, vagy cselekedeteinek következményeiként. Tehát a világ állapotának becslése és az Ön által végrehajtott cselekvés alapján előrejelzést ad arról, hogy milyen lehet a világ állapota a cselekvés megtétele után. 

ENERGIAALAPÚ MODELL: A "VICREG", a "Variance-Invariance-Covariance Re-Gularization For Self-Supervisor Learning" rövidítése, LeCun legújabb megközelítése az energiaalapú neurális hálózati architektúráról. A képek egy halmaza két különböző folyamatban alakul át, és minden torzított kép egy kódolóba kerül, amely lényegében tömöríti azt. Ezután egy kivetítő, más néven "expander", kicsomagolja ezt a tömörített reprezentációt egy végső "beágyazásba", a Z-dimenzióba. A két beágyazás közötti hasonlóság, amely nem változik a torzításukhoz, lehetővé teszi a program számára, hogy megtalálja a megfelelő alacsony energiaszintet, ahol valamit azonosítanak. 

És ez az előrejelzés egy olyan látens változótól is függ, amelyet nem tudsz megfigyelni. Például amikor az autót vezeti, ott van előtted az autó; fékezhetett, gyorsíthatott, balra vagy jobbra fordulhatott. Nincs mód arra, hogy előre tudja. Tehát ez a látens változó. És így az általános architektúra olyasvalami, ahol, tudod, fogod X-et és Y-t, a kezdeti videókészletet, a jövőbeni videót, beágyazod őket valamilyen neurális hálóba, és ennek a két dolognak két absztrakt reprezentációja van. És ezen a téren az egyik látens változót, az energiaalapú prediktív modelleket készíti. 

A lényeg az, hogy a modell most a világ absztrakt reprezentációit jósolja meg. Nem jósolja meg a világ minden részletét, amelyek közül sok irreleváns lehet. Tehát ezt az autót vezeted az úton; Lehet, hogy egy fa leveleinek rendkívül összetett része van az út szélén. És ezt egyáltalán nem lehet megjósolni, vagy nem akarsz energiát vagy erőforrást fordítani ennek előrejelzésére. Tehát ez a kódoló lényegében eltávolíthatja ezt az információt, mielőtt megkérdeznék.

ZDNet: És a következő öt-tíz évben ismét lát néhány konkrét mérföldkövet? Vagy célok?

"Szóval, hogyan lehet egy gépet megtervezni? Ha van prediktív modellje a világról... Akkor a rendszer elképzelheti a cselekvési irányát, elképzelheti az eredményt."

YL: Amit előre látok, az az, hogy használhatjuk ezt az elvet - ezt hívom JEPA architektúrának, Joint Embedding Predictive Architecture-nek, és van egy blogbejegyzés erről, és van egy hosszú tanulmány, amit erről készítek -- és ebből azt látom, hogy most már van egy eszközünk a világ prediktív modelljeinek megtanulására. az észlelések reprezentációinak önálló felügyelet nélküli megtanulása anélkül, hogy a rendszert egy adott feladatra kellene betanítani. És mivel a rendszerek megtanulják mind X, mind Y absztrakt reprezentációit, egymásra rakhatjuk őket. Tehát, ha egyszer megtanultuk a körülöttünk lévő világ absztrakt ábrázolását, amely lehetővé teszi számunkra, hogy rövid távú előrejelzéseket készítsünk, akkor egy másik réteget halmozhatunk fel, amely talán absztraktabb reprezentációkat tanulna, amelyek lehetővé teszik számunkra, hogy hosszabb távú előrejelzéseket készítsünk. 

Ez elengedhetetlen lenne ahhoz, hogy egy olyan rendszer megtanulja, hogyan működik a világ megfigyeléssel, videók megtekintésével, igaz? Tehát a csecsemők alapvetően úgy tanulnak, hogy figyelik a világot, és megtanulják az intuitív fizikát és mindent, amit a világról tudunk. És az állatok is ezt teszik. És szeretnénk rávenni a gépeinket erre. És eddig ezt nem tudtuk megtenni. Tehát véleményem szerint ez az út ehhez, a közös beágyazási architektúra használatával, és hierarchikus módon történő vizsgálatukhoz.

A másik dolog, amiben segíthet nekünk, az érvelésre képes mélytanuló gépek. Tehát, ha úgy tetszik, vita tárgya az, hogy amiben a mély tanulás eddig jó volt, az az észlelés, tudod, olyan dolgok, amelyek vannak, itt van egy bemenet, itt van a kimenet. Mi van akkor, ha azt szeretné, hogy egy rendszer alapvetően érveljen, tervezzen? Van egy kis ilyesmi néhány összetettebb modellben, de valójában nem annyira. 

És hogyan lehet egy gépet megtervezni? Ha van egy prediktív modellünk a világról, ha van egy modellünk, amely lehetővé teszi a rendszer számára, hogy megjósolja, mi fog történni a cselekedetei következtében, akkor a rendszer elképzelheti a cselekvési irányát, elképzelheti az eredményt, majd ezt betáplálhatja egy házfüggvénybe, amely: tudod, jellemzi, hogy a feladatot elvégezték-e, valami ilyesmi. Ezután optimalizálással, esetleg gradiens süllyedés használatával, találjon ki egy olyan műveletsort, amely minimalizálja ezt a célt. Nem a tanulásról beszélünk; Most a következtetésről, a tervezésről beszélünk. Valójában amit itt leírok, az a tervezés és az optimális szabályozás klasszikus módja a modell-prediktív vezérléshez.

Az optimális irányítással az a különbség, hogy ezt a világ tanult modelljével tesszük, szemben egyfajta vezetékes modellel. És ez a modell minden olyan változót tartalmazna, amely kezelné a világ bizonytalanságát. Ez lehet az alapja egy autonóm hírszerző rendszernek, amely képes elképzelni a jövőt, megtervezni egy műveletsort. 

Innen akarok repülni San Franciscóba; El kell jutnom a repülőtérre, el kell érnem egy repülőt stb. Ahhoz, hogy eljussak a repülőtérre, ki kell szállnom az épületemből, le kell mennem az utcán, és taxira kell szállnom. Ahhoz, hogy kijussak az épületemből, fel kell kelnem a székemből, az ajtó felé kell mennem, ki kell nyitnom az ajtót, mennem kell a lifthez vagy a lépcsőhöz. És ehhez ki kell találnom, hogyan bontsam ezt ezredmásodpercről ezredmásodpercre izomkontrollra. Ezt hívják hierarchikus tervezésnek. És szeretnénk, ha a rendszerek képesek lennének erre. Jelenleg nem tudjuk ezt igazán megtenni. Ezek az általános architektúrák biztosíthatják számunkra ezeket a dolgokat. Ez a reményem.  

ZDNet: Az energiaalapú modellek leírása egy kicsit úgy hangzik, mint a kvantumelektrodinamika elemei, mint például a Dirac-Feynman útintegrál vagy a hullámfüggvény, ahol ez a lehetőségek amplitúdóinak eloszlásának összege. Talán ez csak egy metaforikus kapcsolat, vagy talán valóban van megfelelés?

YL: Nos, ez nem csak egy metafora, de részben más. Ha van egy látens változója, és ez a látens változó egy csomó különböző értéket vehet fel, általában a látens változó összes lehetséges értékén kell végigmennie. Ez nem praktikus. Tehát mintát vehet ebből a látens változóból valamilyen eloszlásból. És akkor amit kiszámítasz, az a lehetséges eredmények halmaza. De valójában amit kiszámítasz, az végül valamilyen költségfüggvény, amely egy várható értéket ad, ahol átlagolod a látens változó lehetséges értékeit. És ez valójában nagyon úgy néz ki, mint egy útintegrál. Az útvonalintegrál, lényegében több úton számítja ki az energia összegét. Legalábbis klasszikus módon. Kvantum módon nem adod össze a valószínűségeket vagy a pontszámokat; összetett számokat adsz össze, amelyek érvényteleníthetik egymást. Nálunk nincs ilyen, bár gondolkodtunk már ilyesmiről - legalábbis én is gondolkodtam ilyesmire. De ebben a kontextusban nem használják. De a látens változó miatti marginalizáció gondolata nagyon hasonlít az utak vagy pályák összegzésének gondolatához; Nagyon hasonló. 

ZDNet: Két meglehetősen megdöbbentő állítást tett. Az egyik az, hogy a mély tanulás valószínűségi megközelítése megszűnt. És elismerte, hogy az Ön által tárgyalt energiaalapú modellek valamilyen kapcsolatban állnak az 1980-as évek megközelítéseivel, például a Hopfield Nets-szel. Szeretnéd részletezni ezt a két pontot?

"A tudat agyunk korlátainak következménye. Ha végtelen méretű agyunk lenne, nem lenne szükségünk tudatosságra."

YL: Az ok, amiért el kell hagynunk a valószínűségi modelleket, az az, hogy hogyan lehet modellezni a két változó, az X és Y közötti függőséget; ha Y nagydimenziós, hogyan fogja ábrázolni az Y eloszlását? Nem tudjuk, hogyan kell csinálni, igazán. Csak egy nagyon egyszerű eloszlást tudunk leírni, egy Gauss-féle vagy Gauss-féle keveréket, meg ilyesmi. Ha összetett valószínűségi méréseket akarunk, nem tudjuk, hogyan kell csinálni, vagy az egyetlen módja annak, hogy ezt megtegyük, az egy energiafüggvény. Tehát írunk egy energiafüggvényt, ahol az alacsony energia nagy valószínűségnek felel meg, a nagy energia pedig az alacsony valószínűségnek, így értik a fizikusok az energiát, igaz? A probléma az, hogy soha, ritkán tudjuk, hogyan kell normalizálódni. Sok olyan cikk van a statisztikában, a gépi tanulásban, a számítógépes fizikában stb., amelyek mind arról szólnak, hogyan lehet megkerülni azt a problémát, hogy ez a kifejezés megoldhatatlan. 

Alapvetően azt javaslom, hogy felejtsük el a valószínűségi modellezést, csak dolgozzunk magával az energiafüggvénnyel. Még csak nem is szükséges, hogy az energia olyan formát öltsön, hogy normalizálható legyen. Végül az a lényeg, hogy legyen valamilyen veszteségfüggvény, amelyet minimalizál az adatmodell betanításakor, amely alacsonysá teszi a kompatibilis dolgok energiafüggvényét, és magasra teszi az inkompatibilis dolgok energiafüggvényét. Ennyire egyszerű.

ZDNet: És a kapcsolat olyan dolgokkal, mint a Hopfield Nets?

YL: Természetesen a Hopfield Nets és a Boltzmann Machines releváns ebben. A Hopfield Nets energiaalapú modellek, amelyeket nem kontrasztos módon képeznek ki, de rendkívül nem hatékonyak, ezért senki sem használja őket.

A Boltzmann gépek alapvetően a Hopfield Nets kontrasztív változata, ahol vannak adatminták, és csökkented az energiájukat, és más mintákat generálsz, és felnyomod az energiájukat. És ezek valahogy kielégítőbbek, de nem is működnek túl jól, mert kontrasztív módszerek, és a kontrasztív módszerek nem skálázódnak túl jól. Emiatt őket sem használják. 

ZDNet: Tehát a szabályozott, látens változó energián alapuló modelleket valóban Hopfield Net 2.0-nak kell tekinteni?

YL: Nem, nem mondanám ezt.

ZDNet: Egy másik meglehetősen megdöbbentő állítást tett, miszerint "csak egy világmodell létezik", és hogy a tudat "egy világmodell szándékos konfigurációja" az emberi agyban. Talán őrült hipotézisnek nevezted ezt. Ez a sejtés a részedről, ez az őrült hipotézis, vagy van rá bizonyíték? És mi számítana bizonyítéknak ebben az esetben?

YL: Igen, és igen. Ez egy találgatás, ez egy őrült ötlet. Bármi a tudatossággal kapcsolatban, bizonyos mértékig, találgatás és őrült ötlet, mert nem igazán tudjuk, mi is a tudatosság. Az én nézőpontom ezzel kapcsolatban az, hogy ez egy kis illúzió. De a lényeg, amit itt elmondok, ami kissé vicces, az az, hogy a tudatosságot egyfajta képességnek tekintik, amivel az emberek és néhány állat rendelkezik, mert annyira okosak. És a lényeg az, hogy a tudatosság az agyunk korlátainak következménye, mert szükségünk van a tudatosságra, mert van egy egyetlen, egyfajta világmodell motor a fejünkben, és szükségünk van valamire, ami irányítja. És ez az, ami a tudatosság illúzióját kelti bennünk. De ha végtelen méretű agyunk lenne, akkor nem lenne szükségünk tudatosságra. 

Legalább van némi bizonyíték arra, hogy többé-kevésbé egyetlen szimulációs motor van a fejünkben. És ennek bizonyítéka az, hogy alapvetően csak egy tudatossági feladatot tudunk egyszerre megkísérelni. A feladatra koncentrálunk; Valahogy elképzeljük a tervezett cselekedeteink következményeit. Egyszerre csak egyet tehet meg. Egyszerre több feladatot is elvégezhetsz, de ezek tudatalatti feladatok, amelyekre lényegében gondolkodás nélkül képeztük ki magunkat. Vezetés közben beszélhetünk valakivel mellettünk, miután elég sokáig gyakoroltuk a vezetést ahhoz, hogy tudatalatti feladattá váljon. De az első órákban, amikor megtanulunk vezetni, nem tudjuk megtenni; A vezetés feladatára kell koncentrálnunk. A világmodell előrejelző motorunkat kell használnunk, hogy kitaláljuk az összes lehetséges ijesztő forgatókönyvet a dolgokról, amelyek megtörténhetnek.

ZDNet: Ha valami ilyesmi csak sejtés, akkor jelenleg nincs gyakorlati jelentősége a munkádban, ugye?

YL: Nem, igen, az általam javasolt autonóm mesterséges intelligencia modelljéhez, amely egyetlen konfigurálható világmodell-szimulációs motorral rendelkezik a jövő tervezése és elképzelése céljából, valamint a dolgok üres helyeinek kitöltésére, amelyeket nem lehet teljesen megfigyelni. Számítási előnye van annak, ha egyetlen modell konfigurálható. Ha egyetlen konfigurált motorral rendelkezik, a rendszer megoszthatja ezt a tudást a feladatok között, olyan dolgokban, amelyek a világon mindenben közösek, amelyeket megfigyeléssel tanult, vagy olyan dolgok, mint az alapvető logika. Sokkal hatékonyabb, ha van egy nagy modell, amelyet konfigurál, mint egy teljesen külön modell a különböző feladatokhoz, amelyeket esetleg külön kell betanítani. De ezt már látjuk, igaz? Régen a Facebooknál - amikor még Facebooknak hívták, a képek elemzésére, rangsorolásra és szűrésre használtuk a látásmódot, speciális neurális hálóink voltak, speciális konvolúciós hálóink, alapvetően különböző feladatokra. És most van egy gigantikus, amely mindent megtesz. Régebben fél tucat ConvNetünk volt; Most már csak egy van.

Tehát látjuk ezt a konvergenciát. Ma már vannak olyan architektúráink is, amelyek mindent megtesznek: látványt, szöveget, beszédet csinálnak, egyetlen architektúrával. A három feladatra külön kell őket betanítani, de ez a munka, a data2vec, ez egy önfelügyelt megközelítés.

ZDNet: Nagyon érdekes! Köszönöm az időt.