Milliárdossá tehet a mesterséges intelligencia 2025-ben?

Gary Marcus mélytanulási gömb azt mondja, hogy ő és a Meta vezető mesterséges intelligencia tudósa, Yann LeCun egyetértenek a terület előtt álló legfontosabb kihívásokban.

Gary Marcus, a NYU nyugalmazott professzora, a mesterséges intelligenciát övező hype gyakori kritikusa, nemrégiben leült a ZDNET-tel, hogy cáfolja Yann LeCun, a Meta vezető mesterséges intelligencia-tudósának megjegyzéseit a ZDNET LeCunnak adott interjújában szeptemberben. 

LeCun kétségbe vonta Marcus érvelését, amely a szimbólummanipulációt támogatja, mint a kifinomultabb mesterséges intelligencia felé vezető utat. LeCun azt is megjegyezte, hogy Marcusnak nem voltak lektorált cikkei az AI folyóiratokban.

Marcus valójában lektorált cikkeket publikált, amelyek listája az alábbi interjúban kontextusban jelenik meg. Marcus cáfolata azonban lényegesebben foglalkozik a kettejük közötti szakadékkal, akik évek óta küzdenek egymással a közösségi médiában.

"A mesterséges intelligencia számára van egy lehetséges architektúrá" - mondja Gary Marcus, a NYU nyugalmazott professzora. "A legtöbb dolog, amit tanulmányoztunk, a tér egy kis apró sarkában található."

Marcus azt állítja, hogy LeCun nem igazán foglalkozott Marcus ötleteivel, egyszerűen elutasította azokat. Azt is állítja, hogy LeCun nem adott tisztességes meghallgatást más tudósoknak, például Judea Pearlnek, akinek a mesterséges intelligenciával és az ok-okozati összefüggéssel kapcsolatos nézetei figyelemre méltó munkát alkotnak.

Marcus azzal érvel, hogy LeCun viselkedése része annak a mintának, amelyben a mély tanulás kutatói elutasítják a mély tanuláson kívüli társaikat, akik kritikát fogalmaznak meg, vagy más vizsgálati utakat sürgetnek. 

"Vannak olyan emberek, akiknek rengeteg pénzük és egy csomó elismerésük van, akik megpróbálnak kiszorítani másokat" - mondta Marcus LeCunról és más mély tanulási tudósokról. Emily Bender számítógépes nyelvésztől kölcsönözve egy kifejezést, "elszívják az oxigént a szobából" azáltal, hogy nem foglalkoznak versengő ötletekkel. 

A Marcus és LeCun közötti szakadás Marcus véleménye szerint furcsa, tekintve, hogy Marcus azt állítja, hogy LeCun végre egyetértett Marcus évek óta fogalmazott meg sok kritikájával. 

"Alapvetően úgy tűnt, mintha azt mondta volna, hogy mindaz, amit mondtam, és amiről azt mondta, hogy téves, az igazság" - mondta Marcus. Marcus mindkét könyvben kifejezte határozott nézeteit a mély tanulásról, a legutóbbi a 2019-es Rebooting AI, Ernie Davis-szel, bár vannak elemek egy sokkal korábbi műben, az Algebraikus Mindben; és számos cikkben, köztük a legkiterjedtebb kritikájában, 2018-ban, "Deep Learning: A Critical Appraisal" címmel.

Valójában a két tudós közötti közös pontok olyanok, hogy "Egy másik világban LeCun és én szövetségesek lennénk" - mondta Marcus. 

"Az első pont, amelyben LeCun és én egyetértünk, az az, hogy a skálázás önmagában nem elegendő" - mondta Marcus, ami alatt azt érti, hogy a neurális hálók, például a GPT-3 egyre nagyobb változatainak elkészítése önmagában nem vezet olyan intelligenciához, amely számít. 

A két tudós között továbbra is alapvető nézeteltérések vannak. Marcus már az Algebrai Elme című filmben szenvedélyesen érvelt amellett, amit ő "veleszületettségnek" nevez, valami, ami az elmébe van behuzalozva, hogy strukturálja az intelligenciát. 

"Az a véleményem, hogy ha megnézzük a biológiát, akkor csak a veleszületett szerkezet hatalmas keveréke vagyunk" - mondta Marcus. LeCun, mondta, azt szeretné, ha mindent megtanulnának.

"Úgy gondolom, hogy a nagy irónia az, hogy LeCun saját legnagyobb hozzájárulása a mesterséges intelligenciához a konvolúció veleszületett előzménye, amelyet egyesek fordítási invarianciának neveznek" - mondta Marcus, utalva a konvolúciós neurális hálózatokra. 

Az egyetlen dolog, ami nagyobb, mint bármelyik kutató, és nagyobb, mint a köztük lévő vita, az az, hogy a mesterséges intelligencia zsákutcába jutott, és nincs egyértelmű irány annak a fajta intelligenciának az eléréséhez, amelyről a terület mindig is álmodott. 

"Van egy lehetőség a mesterséges intelligencia lehetséges architektúráira" - mondta Marcus. "A legtöbb dolog, amit tanulmányoztunk, a tér egy kis apró sarkában található; A térnek ez a sarka nem egészen működik. A kérdés az, hogyan juthatunk ki ebből a sarokból, és kezdjünk el más helyeket keresni?"

Az alábbiakban az interjú átirata olvasható, hosszasan szerkesztve.

Ha szeretne elmerülni Marcus jelenlegi írásaiban a mesterséges intelligenciáról, nézze meg a Substackjét. 

ZDNET: Ez a beszélgetés válasz a ZDNET legutóbbi interjújára Yann LeCunnal a Meta-tól , amelyben megemlítették. És először is, mit kell megemlíteni a LeCunnal készített interjúról?

Gary Marcus: LeCun sokat kritizált mostanában, a ZDNET interjúban, a Noema cikkében, valamint a Twitteren és a Facebookon, de még mindig nem tudom, hogy LeCun valójában mennyit olvasott abból, amit mondtam. És azt hiszem, a feszültség egy része itt az, hogy néha kritizálta a munkámat anélkül, hogy elolvasta volna, csak olyan dolgok alapján, mint a címek. Megírtam ezt a 2018-as darabot, a "Deep Learning: A Critical Appraisal" címmel, és nyilvánosan lecsapott rá, amikor először kapott a Twitteren. Azt mondta, hogy "többnyire rossz". És megpróbáltam rávenni, hogy mi a baj. Soha nem mondta. 

Úgy gondolom, hogy szerinte ez a cikk azt mondja, hogy el kell dobnunk a mély tanulást. És ezt számtalanszor kijavítottam. Ismét elkövette ezt a hibát [a ZDNET interjúban]. Ha valóban elolvassa a cikket, azt mondja, hogy szerintem a mély tanulás csak egy eszköz a sok közül, és hogy más dolgokra is szükségünk van. 

Szóval mindenesetre korábban támadta ezt az újságot, és ő egy nagy idősebb srác. Abban az időben [2018-ban] a Facebook AI-t futtatta. Most a Facebook vezető mesterséges intelligencia-tudósa és ott alelnök. Turing-díjas. Szóval a szavainak súlya van. És amikor megtámad valakit, az emberek követik a példáját. 

Természetesen nem kell mindannyiunknak elolvasnunk egymás cikkeit, de nem szabad azt mondanunk, hogy többnyire tévednek, hacsak nem olvastuk el őket. Ez nem igazán igazságos. És számomra ez egy kicsit hatalommal való visszaélésnek tűnt. Aztán nagyon megdöbbentett az interjú, amit vele készítettél, mert úgy hangzott, mintha mindazokkal a dolgokkal érvelne, amiket kigúnyolt abban a papírban: Nem fogunk eljutni odáig, legalábbis a jelenlegi mélytanulási technikákkal. Sok más, finom átfedési pont volt, így alapvetően úgy tűnt, mintha azt mondaná, hogy mindaz, amit mondtam, és amiről azt mondta, hogy rossz, az igazság. 

És ez elég irritáló lenne számomra - egyetlen akadémikus sem szereti, ha nem idézik -, de aztán rám lőtt, és azt mondta, hogy soha nem publikáltam semmit lektorált mesterséges intelligencia folyóiratban. Ami nem igaz. Ezt nem ellenőrizhette. Attól tartok, te sem. Kedvesen kijavítottad.

ZDNET: Elnézést kérek, hogy nem ellenőriztem a tényeket.

GM: Ezek a dolgok megtörténnek. Úgy értem, részben olyan, mintha egy hatóság mondana valamit, és csak elhiszed. Jobbra. Úgy értem, ő Yann LeCun.

ZDNET: Tényszerűen ellenőrizni kell. Egyetértek veled.

GM: Mindenesetre. Ő mondta. Kijavítottam. Soha nem kért bocsánatot nyilvánosan. Szóval, amit ott láttam, az a kombináció, hogy alapvetően ugyanazokat a dolgokat mondom, mint egy ideje, és támadnak, egy újrapozícionálási erőfeszítés része volt. És ezt valóban kifejtem ebben a Substack cikkben: "Mennyire újak Yann LeCun 'új' ötletei?"

És az az érvem, amit ott felhoztam, az az, hogy valójában megpróbálja átírni a történelmet. Számos példát hoztam; ahogy manapság mondják, nyugtákat hoztam. A kíváncsi emberek elolvashatják. Nem akarom itt megismételni az összes érvet, de ezt több dimenzióban is látom. Néhányan látták ezt, és azt mondták: "Megbüntetik LeCunt ezért?" És természetesen a válasz az, hogy nem, nem lesz. Erős. A befolyásos embereket soha nem büntetik meg dolgokért, vagy ritkán. 

De vannak mélyebb pontok is. Tudod, azon kívül, hogy én személy szerint dühös és megdöbbent, nem vagyok egyedül. Hoztam egy példát [a Substack cikkben] arra, hogy [Jürgen] Schmidhuber [az IDSIA Dalle Molle Mesterséges Intelligencia Intézetének adjunktusa] ugyanígy érez. A közbeeső héten kiderült, hogy Judea Pearl, aki Yannhoz hasonlóan Turing-díjas is, szintén úgy érzi, hogy munkáját a mainstream gépi tanulási közösség sem említette. Pearl ezt elég harapós módon mondta: "LeCun csúnya volt Marcusszal, de még csak nem is vette a fáradságot, hogy megemlítsen engem" - mondta Pearl. És ez elég elítélő, hogy az egyik Turing-díjas nem is idézi a másikat

LeCun az ok-okozati összefüggésre gondol, és mindannyian tudjuk, hogy az ok-okozati összefüggés vezetője Pearl. Ez nem jelenti azt, hogy Pearl megoldotta az összes problémát, de bárki másnál többet tett annak érdekében, hogy felhívja a figyelmet arra, hogy miért fontos a gépi tanulás. Több, egyfajta formális gépezettel járult hozzá ehhez. Nem hiszem, hogy megoldotta volna ezt a problémát, de feltörte a problémát. [LeCun] azt mondja, hogy világmodelleket fogok építeni, nos, a világmodellek az ok-okozati összefüggés megértéséről szólnak, és Pearl elhanyagolása megdöbbentő. 

És ez része annak a stílusnak, hogy "itt nem találták ki". Nos, az irónia az, hogy azt hiszem, valószínűleg minden, amit LeCun mondott az interjúdban - nem a rólam szóló dolgokról, hanem a terület ilyen állapotáról - valószínűleg egyedül jutott el. Nem hiszem, hogy plagizálta tőlem. És ezt mondom a [Substack] cikkben. De miért várna négy évet, hogy megtudja ezt a dolgot, amikor a NYU szomszédjának van mondanivalója. 

Marcus a mély tanulás könyörtelen kritikusa volt, legerőteljesebben a 2019-es könyvében a NYU kollégájával, Ernest Davisszel, az AI újraindításában. A duó azzal érvel, hogy a józan ész hiánya a gépi tanulási programokban az egyik legnagyobb tényező az ilyen programok által okozott lehetséges károkban.

Néhány évvel ezelőtt hatalmas harcot folytatott Timnit Gebruval [a Google korábbi kutatója, jelenleg az Elosztott Mesterséges Intelligencia Kutatóintézet (DAIR) alapítója és ügyvezető igazgatója] is a Twitteren - ha szeretné, megnézheti -, így [LeCun] valójában elhagyta a Twittert. Megfélemlítette Timnitet. Azt hiszem, ő lekicsinyeli Schmidhuber hozzájárulását. Lekicsinyeli Pearlét. Tehát, mint sok ember, aki meg akarja védeni a gépi tanulás jelenlegi módjainak becsületét, ő is démonizált engem. És láthattad, hogy [a ZDNET-interjúban] elég közvetlenül támadott. 

Véleményem szerint ez mind része a nagyobb dolognak, ami az, hogy vannak olyan emberek, akiknek rengeteg pénzük van, és egy csomó elismerésük van, akik megpróbálnak kiszorítani másokat. És nem igazán ismerik fel ennek iróniáját, mert ők maguk is kiszorultak 2012 körül. Szóval nagyon jó ötleteik voltak, és az igazán jó ötleteik nem néztek ki olyan jól 2010-ben. A kedvenc idézetem erről még mindig Emily Benderé. Azt mondta, ezzel az a probléma, hogy elszívják az oxigént a szobából, megnehezítik mások számára, hogy más megközelítéseket alkalmazzanak, és nem alkalmazzák ezeket a megközelítéseket. 

A neuroszimbolikus mesterséges intelligencia egész területe van, amellyel LeCun nem foglalkozik, néha inkoherensnek tartja; amikor 2018-ban támogattam, azt mondta, hogy "többnyire rossz". De valójában soha nem foglalkozik a munkával. És ez nem illik egy ilyen termetű embernek, hogy ezt tegye. Tudod, rendben van, ha nem ért egyet vele, és azt mondja: "Én ezt a más, jobb módon tenném, különben ezek a premisszák hamisak." De nem foglalkozik vele. 

Volt egy csodálatos tweet [...] egy másik témában Mikell Taylortól, aki robotikus, és azt mondta, hogy egy csomó Tesla-rajongó alapvetően azt mondja: Nos, miért nem foglalkozol vele? És a lényege az volt, hogy senki sem tudja megtenni azokat a dolgokat, amelyeket a Tesla most ígér. És senki sem tudja megtenni azokat a dolgokat, amelyekre a mély tanulásnak most szánják. A valóság az, hogy ezeket a dolgokat túladták. 

2022-ben nincs meg a technológiai felkészültségünk arra, hogy egy háztartási robotot meghajtsunk, hogy képesek legyünk megérteni a világot. Még mindig kudarcot vallunk a vezető nélküli autókban. Vannak ezek a csevegőrobotok, amelyek néha nagyszerűek, néha teljesen ostobák. És az én véleményem az, mintha a K2-n lennénk, megmásztuk ezt a hihetetlen hegyet, de kiderült, hogy ez rossz hegy. Néhányan már egy ideje rámutatunk erre, LeCun most már felismeri, hogy nem ez a megfelelő hegy.

Taylor lényege az, hogy jogos kritizálni valamit, még akkor is, ha nincs jobb megoldás. Néha a jobb megoldások egyszerűen nincsenek kéznél. De még mindig meg kell értened, mi romlott el most. És LeCun mindkettőt akarja, mert valójában ezekre a problémákra sincs megoldása. Most körbejár és beszédet tart, és azt mondja: Látom, hogy a pálya rendetlen. Körülbelül ugyanazon a napon, amikor az interjút közzétették, előadást tartott, amelyben azt mondta, hogy az ML szar. Persze, ha azt mondanám, hogy az emberek levágnák a gumiimat, de ő mondhatja, mert ő LeCun. 

Azt mondja, hogy az ML szar, majd homályos hangokat kap arról, hogyan fogja megoldani. Egy érdekes kiáltvány ("Az út az autonóm gépi intelligencia felé"), amelyet idén nyáron írt, és amely több modult tartalmaz, beleértve egyfajta konfigurálható előrejelzőt is. A lényeg az, hogy [LeCun új megközelítése] sem igazán megvalósított elmélet. Nem arról van szó, hogy LeCun hazamehet és azt mondhatja: "Mindezek a dolgok, amelyek miatt Marcus aggódott, és amelyek miatt most aggódom, megoldódnak ezzel." Csak annyit tud mondani, hogy "Van egy ösztönöm, hogy erre az útra mehetünk." 

Azt hiszem, van valami abban, hogy azt mondjuk, gazdagabb modellekre van szükségünk a világról. Valójában évek óta ezt mondom. Így például az egyik lektorált cikk, amely történetesen az AI-folyóiratokban található, egy modell arról, hogyan értjük meg, mi történik egy konténerben, ami nagyon érdekes dolog, mert a világban sok mindent csinálunk valójában konténerekkel foglalkozunk. 

Szóval most az íróasztalomon van egy edény, amiben tollak és ceruzák és hasonlók vannak, és van egy másik, amiben egy pohár víz van. Tudok róluk dolgokat, például, ha kiveszek valamit, az már nincs a tartályban. Ha felborítom a tartályt, minden kiesik. Mindenféle fizikai érvelést végezhetünk a konténerekkel kapcsolatban. Tudjuk, hogy ha lenne egy lyukas kávéscsészénk, és beleöntöm a kávét, akkor a kávé kifolyik. 

Ernie Davis, aki LeCun NYU-s kollégája, és én írtuk ezt a cikket a Artificial Intelligence-ben, a terület egyik vezető folyóiratában, ahol klasszikus formális logikai beszámolót adunk erről. És LeCun az Önnel készített interjújában a fizikai érvelésről beszélt józan ész körülményei között. Tehát itt van egy tökéletes példa egy lehetséges [alternatív] elméletre, amelyet Davis és én javasoltunk. Őszintén szólva nem hiszem, hogy az elmélet, amelyet Davis és én javasoltunk, helyes. Azt hiszem, ez valahogy keretezi a problémát. De ez egy nehéz probléma, és van még mit tenni rajta. De a lényeg az, hogy nem mintha LeCunnak valóban lett volna egy elmélete a konténerek feletti fizikai érvelésről, amelyről azt mondhatja, hogy alternatíva. Szóval rámutat rám, és azt mondja: Nos, nincs alternatívád. Nos, nincs alternatívája annak, amit javasoltam.   

Nem kapsz jó tudományt, ha az emberek az emberek hitelességét támadják. Francis Crick nem volt biológus. Ez azt jelenti, hogy a DNS-modellje téves? Nem. Fizikus volt, de jöhet egy másik területről, és lehet mondanivalója. Sok-sok példa van erre történelmileg. 

Ha kiszívod az oxigént a szobából azáltal, hogy más embereket alternatív hipotézisekből zaklatsz, fennáll annak a veszélye, hogy rossz elképzelésed van. Van egy nagyszerű történelmi precedens erre, nagy és szomorú, egyértelmű, amely az 1900-as évek elején történt, amikor a területen dolgozók többsége azt gondolta, hogy a Mendel által felfedezett gének fehérjékből állnak. A gének molekuláris alapjait keresték, és mindannyian tévedtek. És büszke cikkeket írtak róla. Valaki Nobel-díjat nyert, azt hiszem, 1946-ban, a dohányvírusért, amelyről azt hitte, hogy fehérje, de valójában nem az. Ez egyike azon kevés Nobel-díjaknak, amelyeket valójában tévesen ítéltek oda. És kiderült, hogy a DNS valójában egy sav, ez a furcsa dolog, amit DNS-nek hívnak, és amelyről az emberek akkoriban nem sokat tudtak. Tehát vannak olyan időszakok a történelemben, amikor az emberek nagyon tisztában vannak azzal, hogy mi a válasz és mi a rossz. 

Hosszú távon a tudomány önkorrigáló. De az ok, amiért van egyfajta etikettünk és bevált gyakorlatunk arról, hogy ne ad-hominem, idézzük mások munkáját, építsünk rá, az az, hogy ne legyenek ilyen hibáink, és hogy hatékonyabbak legyünk. Ha elutasítóak vagyunk, és valójában ezt a szót használnám a legtöbbet LeCun körül, ha elutasítóak vagyunk mások munkáival szemben, mint például Judea Pearl munkája, az én munkám, Schmidhuber munkája, az egész neuroszimbolikus közösség, akkor azt kockáztatjuk, hogy túl sokáig rossz modelleken időzünk.

ZDNET: A 2018-as cikkével kapcsolatban, amely egy csodálatos cikk, számomra a legfontosabb idézet a következő: "A mély tanulás eddig sekély, korlátozott átviteli képességgel rendelkezik, bár a mély tanulás néhány csodálatos dologra képes." Mindannyian beleszeretünk a csodálatos dolgokba, ami azt jelenti, hogy a fényképeinket nagy felbontású okostelefonos képeinkké alakítja. Legyünk őszinték: ez a cucc valamilyen szinten működik. És most te és LeCun is azt mondjátok, hogy ez nem intelligencia, és még csak nem is az intelligencia kezdete, hanem tényleg primitív. Nekem úgy tűnik, mindketten egy olyan ipari rezsimmel állnak szemben, amely egyre inkább profitál abból, hogy ezeket a csodálatos dolgokat előterjeszti, amelyeket ezek a gépek tesznek.

GM: Az első dolog, amit elmondok, hogy nem akarok azon vitatkozni, hogy ez hírszerzés-e vagy sem. Ez attól függ, hogyan definiálja a kifejezéseket. Tehát azt mondanám, hogy nem ésszerűtlen a mély tanulást az intelligencia egyik formájának nevezni, a definíciótól függően. Nevezhet egy számológépet intelligensnek, ha akarja, vagy sakkszámítógépnek. Nem igazán érdekel. De az intelligencia azon formája, amelyet általános intelligenciának vagy adaptív intelligenciának nevezhetünk, érdekel az adaptív intelligencia. Kíváncsi vagyok, hogyan tudunk olyan gépeket készíteni, ahol azt mondhatjuk: Itt a problémám, menj és oldd meg, úgy, hogy elmondhatsz egy egyetemi gyakornoknak néhány dolgot valamiről, és ráveheted, hogy dolgozzon rajta, és végezzen valami hiteles munkát.

Nincsenek ilyen gépeink. Nincsenek olyan gépeink, amelyek elég magas szintű megértéssel rendelkeznek a világról vagy a világ megértéséről ahhoz, hogy képesek legyenek kezelni az újdonságokat. Sok példa, amiről beszélsz, olyan dolgok, ahol hatalmas mennyiségű adatunk van, amely nem változik túl sokat. Tehát több milliárd kísérletet kaphat az emberekkel, akik kimondják az "Alexa" szót, és akkor minden bizonnyal használhatja ezeket az algoritmusokat az "Alexa" szó felismerésére.

Másrészt Eric Topol, aki az egyik kedvenc emberem, aki mesterséges intelligenciával és orvostudománysal foglalkozik, két nappal ezelőtt közzétett egy tweetet, amely azt mutatja, hogy még mindig komoly problémák vannak abban, hogy a mesterséges intelligencia bármi igazán hasznosat tegyen az orvostudományban. És ez azért van, mert a biológia folyamatosan változik. 

Hogy egy másik esetet említsek, sok ilyen nagy nyelvi modell azt gondolja, hogy Trump még mindig elnök, mert sok adat szól arról, hogy Trump elnök, és nem teszik meg azt az alapvető időbeli érvelést, hogy megértsék, ha valaki más leteszi az esküt, akkor már nem vagy elnök. Egyszerűen nem ezt teszik.

Ha csak statisztikai bizonyítékokat gyűjtesz, és nem érted a dolgok dinamikáját, akkor problémád van. Vagy Walid Saba [mesterséges intelligencia és ML tudós] volt ez a gyönyörű példa. Kitől kérne szívesebben tanácsot, kérdezte a GPT-3-at, egy kisgyereket vagy egy zseniális asztalt. És csak ismeri a briliáns szót, ezért azt mondja, hogy megfogadnám a tanácsot a briliáns asztalról. Nincs mélység, nem igazán értjük meg a világot. 

Egyfajta zsenialitás, de a marketing rettegése, hogy a mély tanulás kifejezés fogalmi mélységet jelent, és ez hiányzik belőle. Valójában csak bizonyos számú réteget jelent a hálózatban, mondjuk hármat vagy többet, és manapság ez 150 is lehet, de a mély tanulás csak a rétegek számát jelenti, nem a fogalmi mélységet. Ez nem jelenti azt, hogy ezen rendszerek egyike tudja, mi az ember, mi az asztal, mi bármi .

ZDNET: Akkor úgy tűnik, hogy az ellened irányuló erők nagyobbak, mint a közted és LeCun közötti erők. Mindketten egy olyan rezsimmel álltok szemben, amelyben a dolgokat, ahogy ő fogalmazott, megterveztek. A világ el fog érni valamit, ami működik, de valójában nem intelligens.

GM: Érdekes: Egy másik világban LeCun és én szövetségesek lennénk. Nagyon sok dologban egyetértünk. Nemrég vázoltam fel őket egy darabban, amiben a szavak szerepeltek, paradigmaváltás. Valójában a Slate Star Codex-re, Scott Alexanderre válaszoltam. Írtam egy cikket a Substackembe: "Valóban szüksége van a mesterséges intelligenciának paradigmaváltásra?" És van egy rész, amelyben felvázolom mindazt, amiben LeCun és én egyetértünk. 

Ha megnézzük a mező nagyobb textúráját, valójában a legtöbb ponton vagyunk az igazításban. És áttekintek néhányat közülük, mert fontosnak tartom őket. Az első pont, amelyben LeCun és én egyetértünk, az az, hogy a skálázás önmagában nem elegendő. Nem vagyunk egyedül ezzel a gondolattal, de valódi szakadás van a területen.

Azt hiszem, a fiatalabb generáció nagy részét nagyon lenyűgözték a skálázási bemutatók. [DeepMind kutató] Nando de Freitas írt valamit a Twitteren, amelyben azt mondta, hogy a játéknak vége, az AGI csak skálázás kérdése. Erre írtam egy választ "Alt Intelligence" címmel, ami az első darab volt a Substackben, amit megtartottam. Az emberek mostanában skálázási maximalizmusnak nevezik, mintha csak a skálázásra lenne szükséged. Ez az egyik legnagyobb kérdés a területen. És LeCun és én teljesen egyetértünk abban, hogy a maximalizmus skálázása, hogy ez egyszerűen nem elég ahhoz, hogy eljuthassunk ahhoz a fajta mélyebb adaptív intelligenciához, amely szerintem őt és engem is érdekel. 

Hasonlóképpen, ő és én is úgy gondoljuk, hogy a megerősítő tanulás, amivel a DeepMind sok időt töltött, de mások is, mi is úgy gondoljuk, hogy ez nem megfelelő. Szereti használni a "Ez csak a cseresznye a torta tetején" metaforát, és ebben egyetértek vele. Úgy gondolom, hogy addig nem lehet jó megerősítő tanulást végezni, amíg nem érti meg a világot. 

Mindketten egyetértünk abban, hogy a nagy nyelvi modellek, bár nagyon menők, nagyon problematikusak. Nos, azt hiszem, először erre mutattam rá, és ő nagyon gonosz volt, amikor rámutattam rá. De ugyanazon a helyen konvergáltunk. Mindketten úgy gondoljuk, hogy ezek a rendszerek, bármilyen feltűnőek is, nem jutnak el az általános intelligenciához. És ez összefügg a skálázási ponttal. 

Ezek a legfontosabb kérdések. És bizonyos értelemben a kollektív nézetünk kisebbségi nézet, és úgy gondolom, hogy mindkettőnknek igaza van ezekben a pontokban. Az idő majd eldönti. Ezek mind empirikus kérdések. Több munkát kell végeznünk. Nem ismerjük a tudományos válaszokat, de LeCun és én minden bizonnyal elég mély intuíciókat osztunk meg ezekben a pontokban.

Egy másik hely, ahol nagyon mélyen egyetértünk, vagyis mélyen egyetértünk abban, hogy modellekre és józan észre van szükség, ez valójában két dolog. Modellekkel kell rendelkezni arról, hogyan működik a világ, és ehhez kapcsolódóan, bár valószínűleg abban is egyetértünk, hogy ez ködös, mindketten úgy gondoljuk, hogy valami olyasmire van szükség, mint a józan ész, és ez nagyon kritikus. 

El tudnám képzelni, hogy részt veszünk egy panelbeszélgetésen a Tudományos Világfesztiválon, és akkor elkezdenénk beszélgetni arról, hogy itt van a hét dolog, amivel egyetértünk, és most itt van az, amiért szerintem a világmodelleknek ilyennek vagy olyannak kell lenniük, és érdekes vita lenne, ha vissza tudnánk térni arra a helyre, ahol egykor voltunk. 

ZDNET: És miben különbözik?

GM: Azt állítanám, hogy sok szimbolikus tudás van, amit érdemes felhasználni. Azt állítanám, hogy a szimbolikus eszközök eddig még mindig sokkal jobb módot kínálnak az általánosításra az eloszláson túl, és ez nagyon fontos. Manapság mindannyian tudjuk, hogy az elosztás eltolódása kritikus probléma. 2018-ban vetettem fel, azt hiszem, még mindig ez az alapvető probléma, hogy hogyan általánosítsunk a látott adatokon túl. És azt hiszem, a szimbolikus modelleknek lehet némi előnye. Elismerem, hogy nem tudjuk, hogyan tanuljuk meg ezeket a modelleket. És azt hiszem, LeCun legjobb reménye arra, hogy némi előrelépést érjen el, ezeknek a modelleknek a tanulási oldalán lenne. Nem vagyok benne biztos, hogy megfelelő építészettel rendelkezik, de legalább megvan benne a megfelelő szellemiség ebben az értelemben. 

És aztán a másik hely, ahol lényegében nem értünk egyet, és ez a 2017-es vita volt, amely a veleszületettségről szólt. Azt hiszem, több veleszületettségre van szükségünk. És azt hiszem, a nagy irónia az, hogy LeCun saját legnagyobb hozzájárulása a mesterséges intelligenciához a konvolúció veleszületett elője, amelyet egyesek fordítási invarianciának neveznek. És azt mondja, hogy lényegében ez egy módja a huzalozásnak, mivel egy tárgy ugyanúgy fog kinézni, ha különböző helyeken jelenik meg. Azt hiszem, több ilyen előzményre van szükségünk. Még több ilyen veleszületett dolog. És LeCun nem igazán akarja. Tényleg nem akarja, hogy veleszületett struktúra legyen. Azon a területen van, amelyet nem véletlenül gépi tanulásnak hívnak. A gépi tanulásban dolgozók pedig azt akarják, hogy mindent megtanuljanak. Nem mindegyik van, de sok. 

Az a véleményem, hogy ha megnézzük a biológiát, akkor csak a veleszületett szerkezet és a tanult kalibrációs gépek hatalmas keveréke vagyunk. Tehát például a szívünk szerkezete egyértelműen veleszületett. Van némi kalibráció. A szívizmok növekedhetnek edzés közben, és így tovább. De sok-sok veleszületett struktúra van. Úgy látom, hogy a gépi tanulás területén van egy elfogultság a veleszületettséggel szemben, ami szerintem nagyon ártott a területnek, és visszatartotta. Szóval ez egy olyan hely, ahol különböznénk. 

Azt teszem, amit szerintem az embereknek tenniük kellene. Megértem az ellenfelem nézeteit. Azt hiszem, jellemezni tudom őket, és beszélni tudok az egyetértés és az egyet nem értés pontjairól, és jellemezhetem, hogy mik ezek. Míg szerintem LeCun egyszerűen megpróbált elbocsátani a színpadról. Nem hiszem, hogy ez a helyes módja a tudománynak.

ZDNET: Kilépési kérdés: Mit gondolsz, mi az, ami fontos, amivel megbirkózunk, ami nagyobb, mint te és Yann LeCun?

GM: Nos, nem hiszem, hogy egyikünknek sincs válasza, ez az első dolog, amit mondok. És az ok, amiért azt kívánom, bárcsak valóban vitatkozna velem, az az, hogy úgy gondolom, hogy a terület elakadt, és az egyetlen módja annak, hogy kiszabaduljunk, ha egy diák vagy egy fiatal egy kicsit másképp látja a dolgokat, mint mi, többiek. És ha olyan emberek vannak, mint LeCun és én, akiknek erős nézőpontjaik vannak, amelyeket meg tudnak fogalmazni, segíthet az embereknek abban, hogy lássák, hogyan lehet megoldani. Tehát nyilvánvalóan jó okunk van arra, hogy tanulásalapú rendszert akarjunk, és ne akarjunk bekötni. És nyilvánvalóan nagy okunk van arra, hogy akarjuk a szimbólummanipuláció előnyeit. És nincs ismert módja annak, hogy a mondás szerint a süteményünket is megegyük.

Szóval szeretek úgy gondolni, mint a lehetséges modellek terére, igaz? A neurális hálózatok a többdimenziós terek felfedezéséről szólnak. A mesterséges intelligencia számára lehetséges architektúrák tere van. A legtöbb dolog, amit tanulmányoztunk, a tér egy kis apró sarkában található. A térnek ez a sarka nem egészen működik. LeCun és én valójában egyetértünk ebben. A kérdés az, hogyan juthatunk ki ebből a sarokból, és kezdjünk el más helyeket keresni? És mindkettőnknek vannak találgatásai ezzel kapcsolatban, de biztosan nem tudjuk biztosan.

És azt hiszem, sok hely van még sok paradigmaváltásra. Valójában abban a "paradigmaváltás" című darabomban LeCunt idézem, aki ezt mondta. Van egy része a területnek, amely úgy gondolja, hogy nincs szükségünk újabb paradigmaváltásra, csak több adatra van szükségünk. De LeCun és én is úgy gondoljuk, hogy paradigmaváltásra van szükségünk, ami azt jelenti, hogy ki kell néznünk a modellek teréből, amelyeket most vizsgálunk. A legjobb módja annak, hogy segítsünk másoknak ebben, ha megfogalmazzuk, hol ragadtunk.