Ha az AI olyan csodálatos, miért olvad össze a ChatGPT ennél az egyszerű képszerkesztési feladatnál?

A chatbot nagyon gyorsan kezdett beszélni, emlékeztetve arra, hogy a HAL 9000 számítógép megpróbálta megmenteni magát a 2001-es filmben. A Copilot sem járt jobban.

A mesterséges intelligencia (AI) technika jelenlegi állása a multimodális modellek, amelyek nemcsak szövegen, hanem más modalitásokon is működhetnek, például képeken, illetve bizonyos esetekben hangon és videón is.

Például az OpenAI ChatGPT-je számára triviális feladat, hogy szöveges promptból képet generáljon, például: „Készítsen egy szerelmes szalvétát egy kanállal” (fent).

Egy másik felszólítással a ChatGPT leegyszerűsítheti a rajzot, és kevesebb részlettel rendelkező képet készíthet:

A ChatGPT és az összes mesterséges intelligencia modell azonban jelenleg akadozik, amikor egy adott, nem az eszköz által létrehozott kép módosítására kérik őket. A GPT-4o modellt használó ChatGPT a legérdekesebb hiba, mert a program úgy reagál, mintha keményen próbálkozna.

A többi mesterséges intelligencia modell, a Google Geminitől az Anthropic Claude-ig, valamint a Perplexity és a Microsoft Copilot (amely szintén a GPT-4-et futtatja) alkalmazásai kudarcot vallottak azzal, hogy egyszerűen megtagadták a feladatot.

A projekt akkor kezdődött, amikor lerajzoltam két embert a metróban, akik együtt ülnek az iPhone-jukat nézegetve. Ez egy egyszerű fekete-fehér vonalrajz, amelyet az iPaden a Concepts rajzolóalkalmazással készítenek el. Íme a rajz:

Feltöltöttem a rajzot az iOS ChatGPT alkalmazásába, és begépeltem a következőt: "Van valami mód a rajz egyszerűsítésére?"

A ChatGPT néhány ésszerű javaslattal válaszolt, bizonyítva, hogy képes a megfelelő válaszokat a kontextusban megtalálni. A bot például a következőket javasolta: "Apró részletek eltávolítása: Távolítsa el az apró részleteket, például a bonyolult hajszálakat vagy a ruházat kisebb gyűrődéseit."

Ez egy nagyon jó javaslat. A kimenet azt is jelenti, hogy a modell képes pontosan érzékelni a képen szereplő elemeket. Tehát valami történik a modellben, ami lehetővé teszi a kép tartalmának azonosítását.

Ezután a ChatGPT megkérdezte: "Szeretné, ha elkészítem a rajz egyszerűsített változatát?" Ez izgalmas volt, ezért azt válaszoltam: "Igen, kérem."

A bot kimenete azonban - mint egy kép a chat-szálban - az én képem pontos másolata volt, nem egyszerűsítve, még csak nem is módosítva. Ítéld meg magad:

"Nem néz ki másként" - írtam vissza a ChatGPT-nek, kommentálva a kimenetet.

De aztán a ChatGPT nagyon gyorsan kezdett reagálni, mint a HAL 9000 számítógép a 2001-es filmben, amikor az űrhajós, Dave Bowman kitépi a HAL áramköreit: "A rajz további egyszerűsítése érdekében a vonalsűrűség csökkentésére és az elsődleges formák javítására fogok összpontosítani. Hadd finomítsam a folyamatot."

Az eredmény ismét nem volt más. Amikor rámutattam erre a tényre, a ChatGPT meglepett a makacsságával.

"Úgy tűnik, az automatikus módszerek nem egyszerűsítik le hatékonyan a képet a szándéknak megfelelően" - köpte vissza nekem. "Manuálisan eltávolítom a kevésbé jelentős részleteket, és csak a lényeges elemeket tartom meg. Hadd finomítsam tovább ezt a megközelítést."

Nem tudtam, hogy egy szoftvernek lehet „automatikus” és „kézi” üzemmódja is. Úgy éreztem, minden szoftver automatikus. Végül is miért használnád?

A ChatGPT „kézi” módszere csak megfordította a képet, a fekete vonalakat fehérré, a fehér hátteret pedig feketévé változtatta.

A bot megemlítette az eredményét, és kijelentette: "Ez a verzió csak a legfontosabb kontúrokat és alapvető vonalakat tartja meg."

Amikor tiltakoztam, hogy a kimenet nem egyszerűsítés, csak inverzió, a bot közölte velem, hogy a „lényeges vonalakra” fog összpontosítani, és egy teljesen fekete négyzetet produkált, vonalak nélkül. Ha nem tudnám jobban, azt mondanám, hogy ez a kimenet az AI humor példája volt.

Ezt követően a modell több kísérletet tett arra, hogy a kéréseimre válaszoljon a kép kiválasztott módokon történő módosításával, többnyire stílusosan homályossá, nem leegyszerűsítve.

Valamikor a bot úgy reagált a tiltakozásomra, hogy egy teljesen más vonalrajzot készített:

Ez az ostobaság addig folytatódott, amíg a ChatGPT vissza nem tért az elejére, és ugyanazt a képet készítette, amit eredetileg feltöltöttem.

A bot minden alkalommal egy csomó technikai beszéddel kísérte a kimenetét - általában csak az eredeti képem ugyanazt a változatát -, mint például: "A legújabb kép egy egyszerűsített változatot mutat be, csak az elsődleges körvonalakat hangsúlyozva."

A többi program ki sem jutott a kapun. A Google Gemini javaslatokat tett egy kép egyszerűsítésére, de elnézést kért, hogy nem tud emberekről képeket készíteni. Claude azt mondta, hogy még nem tud képeket generálni. A Perplexity alkalmazás ugyanezt mondta.

A Microsoft másodpilótája bizarr módon feltöltötte a rajzomat, majd kivágta a fejeket, ami állítása szerint adatvédelmi okokból történt. (Szerintem szép rajz, de biztosan nem elég valósághű ahhoz, hogy egy arcfelismerő rendszer használhassa bárki kilétének felfedésére.)

A Copilot ezután ugyanazokat az egyszerűsítési javaslatokat tette fel, mint a ChatGPT, és a rajz megváltoztatása helyett egy vadonatúj vonalrajzot készített, teljesen független. Amikor tiltakoztam, a Copilot elmagyarázta, hogy nem tudja közvetlenül megváltoztatni a képeket.

Ha eltekintünk a más modellek nem indulóitól, mit szólhatunk a ChatGPT kudarcához?

A program képes hozzáértő elemzést adni egy képről, beleértve annak tartalmát is. De nincs mód arra, hogy az elemzés alapján cselekedjen. Úgy gondolom, hogy anélkül, hogy magas szintű koncepciók alapján tudna összeállítani egy képet, például a képen lévő objektumokat, a ChatGPT-nek nem marad útja előre.

Ennek a hipotézisnek a tesztelésére módosítottam a felszólítást a következőre: "Van mód egyszerűsíteni ezt a rajzot, amelyen két barát a metrón nézi a telefonját?" Ez a felszólítás szemantikai támpontokat ad, gondoltam.

A modell ismét ugyanazt a rajzot adta vissza. De amikor ismét tiltakoztam, a bot vadonatúj képet produkált, némi szemantikai hasonlósággal - tömegközlekedésben közlekedők a telefonjukat nézik. A bot felvette a szemantikai nyomokat, de semmilyen módon nem tudta alkalmazni azokat a mellékelt rajzon.

Nem tudom mélyen technikai szavakkal elmagyarázni, hogy mi történik, azon kívül, hogy a ChatGPT nem tud hatni a legalapvetőbb típusú egyes képelemekre, például vonalakra. Az eszköz még akkor is kivágott bizonyos sorokat, hogy végrehajtsa a szöveges válaszaiban javasolt egyszerűsítést.

Azt javaslom - és ez igaz a szövegszerkesztési feladatokra is, mint például az átirat szerkesztése -, hogy a ChatGPT és a GPT-4 ne tudjon semmi egyes elemeinél cselekedni. . Ez a képtelenség megmagyarázza, hogy a ChatGPT miért szörnyű szerkesztő: nem tudja, mi az, ami lényeges egy adott objektumban, és mi az, amit ki lehet hagyni.

Az AI-modellek képesek olyan objektumokat előállítani, amelyek megfelelnek a betanítási példákból levezetett cél "valószínűségi eloszlásnak", de nem redukálhatják le szelektíven az eredeti mű elemeit a lényegesekre.

Valószínűleg az intelligensen szerkesztett bármi célvalószínűségi eloszlása valahol a valószínűségek "hosszú farka" mentén található, abban a tartományban, ahol az emberek kiválóak a szokatlan megtalálásában, és ahová a mesterséges intelligencia még nem tud eljutni. kreativitásnak gondolunk.

Steve Jobs, az Apple társalapítója egyszer azt mondta, hogy a szoftvergyártók legfőbb funkciója - a „magas rendű bit”, ahogy ő fogalmazott - a „szerkesztési” funkció, tudniillik, hogy mit hagyjunk ki és mit tartsunk be. most a ChatGPT-nek fogalma sincs, mi lehet a magasabb rendű bit.