Ha a mesterséges intelligencia által generált kód meghibásodik, kinek kell a legnagyobb felelősséget kitennie?

A Microsoft Kosmos-1 képes kép- és hangüzenetek fogadására, megnyitva az utat a ChatGPT szöveges üzenetein túlmutató következő szakasz felé.

A Microsoft bemutatta a Kosmos-1-et, amelyet multimodális nagynyelvi modellként (MLLM) ír le, amely nem csak a nyelvi felszólításokra tud válaszolni, hanem vizuális jelzésekre is, amely számos feladathoz használható, beleértve a képaláírásokat, a vizuális kérdések megválaszolását, és több.

Az OpenAI ChatGPT-je segített népszerűsíteni az LLM-ek koncepcióját, mint például a GPT (Generative Pre-trained Transformer) modellt, valamint a szöveges prompt vagy bemenet kimenetté alakításának lehetőségét.

Míg az embereket lenyűgözik ezek a csevegési lehetőségek, az LLM-ek továbbra is küzdenek a multimodális bemenetekkel, például a kép- és hangüzenetekkel, a Microsoft AI-kutatói a „A nyelv nem minden, amire szükséged van: az észlelés és a nyelvi modellek összehangolása” című cikkükben érvelnek.. A tanulmány azt sugallja, hogy a multimodális észlelés, vagyis a tudás megszerzése és a valós világban való „földelése” szükséges ahhoz, hogy a ChatGPT-szerű képességeken túl a mesterséges általános intelligencia (AGI) felé mozduljunk el.

"Ennél is fontosabb, hogy a multimodális bevitel feloldása nagymértékben kiszélesíti a nyelvi modellek alkalmazását olyan nagyobb értékű területekre, mint például a multimodális gépi tanulás, a dokumentumintelligencia és a robotika" - írja a lap.

Az Alphabet tulajdonában lévő Everyday Robots robotikai cég és a Google Brain Team tavaly bemutatta az alapozó szerepét, amikor LLM-eket használtak arra, hogy a robotokat kövessék a fizikai feladatok emberi leírásait. A megközelítés magában foglalta a nyelvi modell megalapozását olyan feladatokban, amelyek egy adott valós környezetben lehetségesek. A Microsoft a Prometheus AI-modelljének alapozását is felhasználta az OpenAI GPT-modelleinek a Bing keresési rangsorolásából és keresési eredményeiből származó valós visszajelzések integrálására.

A Microsoft szerint a Kosmos-1 MLLM képes felfogni az általános módozatokat, követni az utasításokat (zero-shot tanulás), és kontextusban tanulni (keves-shot learning). "A cél az, hogy összhangba hozzák az észlelést az LLM-ekkel, hogy a modellek lássanak és beszélhessenek" - írja a lap.

A Kozmosz-1 kimeneteinek bemutatói a felszólításoknak tartalmaznak egy cicát ábrázoló képet, akinek a szája egy papírt tart, és mosolyog a száján. A felszólítás a következő: „Magyarázza el, miért vicces ez a fotó?” A Kosmos-1 válasza: "A macska olyan maszkot visel, amely mosolyt kölcsönöz a macskának."

Más példák is mutatják: egy képről érzékelni, hogy egy teniszezőnek pónifarka van; az idő leolvasása egy óra számlapjának képén 10:10-nél; az összeg kiszámítása 4 + 5 képéből; válasz: "Mi az a TorchScale?" (amely egy PyTorch gépi tanulási könyvtár), egy GitHub-leíró oldal alapján; és leolvassa a pulzusszámot egy Apple Watch számlapról.

A példák mindegyike bemutatja, hogy az MLLM-ek, például a Kosmos-1 képesek egy feladat automatizálására többféle helyzetben, kezdve a Windows 10-felhasználónak megmondani, hogyan indítsa újra a számítógépét (vagy bármilyen más feladatot vizuális felszólítással), a weboldal elolvasásáig az elindításhoz. webes keresés, egészségügyi adatok értelmezése eszközről, képek feliratozása stb. A modell azonban nem tartalmaz videoelemzési képességeket.

A kutatók azt is tesztelték, hogy a Kozmosz-1 hogyan teljesített a zero-shot Raven IQ tesztben. Az eredmények „nagy teljesítménybeli különbséget mutattak ki a jelenlegi modell és a felnőttek átlagos szintje között”, de azt is megállapították, hogy pontossága azt mutatja, hogy az MLLM-ek képesek „felfogni absztrakt fogalmi mintákat nonverbális kontextusban” az észlelés és a nyelvi modellek összehangolása révén.

A "weblapkérdések megválaszolásával" kapcsolatos kutatás érdekes, mivel a Microsoft azt tervezi, hogy Transformer-alapú nyelvi modellekkel kívánja a Binget a Google keresésének jobb riválisává tenni.

"A weboldal kérdéseire való válaszadás célja, hogy a weboldalak kérdéseire választ találjon. Ehhez a modellnek meg kell értenie a szövegek szemantikáját és szerkezetét. A weboldal szerkezete (például táblázatok, listák és HTML-elrendezés) kulcsfontosságú szerepe az információ elrendezésében és megjelenítésében A feladat segíthet felmérni, hogy modellünk képes-e megérteni a weboldalak szemantikáját és szerkezetét" - magyarázzák a kutatók.