Tud a Meta AI kódolni? Lámával, Geminivel és ChatGPT-vel teszteltem - közel sem volt

Kidobtam az egyszerű kódolási teszteket a Meta AI ellen. Az eredmények azt mutatták, hogy valójában csak egyetlen AI chatbot van, amiért érdemes időt szánni a programozásra.

Mennyire jól írnak kódot az AI-eszközök? Az elmúlt egy évben nagy nyelvi modelleket vetettem alá egy tesztsorozatnak, hogy megtudjam, mennyire jól kezelik néhány meglehetősen alapvető programozási kihívást.

Az ötlet egyszerű: ha nem tudják kezelni ezeket az alapvető kihívásokat, valószínűleg nem érdemes megkérni őket valami bonyolultabbra. Másrészt, ha képesek kezelni ezeket az alapvető kihívásokat, hasznos asszisztensekké válhatnak a programozók számára, akik időt spórolnak.

A referenciaérték beállításához három tesztet használtam (és most adtam hozzá egy negyediket). Ezek a következők:

1. WordPress beépülő modul írása:Ez az alapvető webfejlesztést teszteli a PHP programozási nyelv használatával, a WordPressen belül. Egy kis felhasználói felület építést is igényel. Ha egy AI chatbot átmegy ezen a teszten, segíthet a kezdetleges kód létrehozásában a webfejlesztők asszisztenseként. Ezt a tesztet eredetileg a következőben dokumentáltam: "Megkértem a ChatGPT-t, hogy írjon egy WordPress-bővítményt, amelyre szükségem volt. Kevesebb, mint 5 perc alatt sikerült."
2. Karakterlánc-függvény újraírása: Ez a teszt azt értékeli, hogy egy mesterséges intelligencia chatbot hogyan frissíti a segédprogramot a jobb működés érdekében. Ha egy mesterséges intelligencia chatbot átmegy ezen a teszten, segíthet a programozók számára készült eszközök létrehozásában. Ha nem sikerül, az első éves programozó hallgatók valószínűleg jobban tudnak dolgozni. Eredetileg ezt a tesztet az "OK, tehát a ChatGPT hibakeresést végezte el a kódomban. Valóban."
3. Bosszantó programhiba keresése: Ez a teszt alapos ismereteket igényel a WordPress működéséről, mert a nyilvánvaló válasz rossz. Ha egy AI chatbot tud erre helyesen válaszolni, akkor tudásbázisa meglehetősen teljes, még olyan keretrendszerekkel is, mint a WordPress. Eredetileg ezt a tesztet az "OK, tehát a ChatGPT hibakeresést végezte el a kódomban. Valóban."
4. Szkript írása: Ez a teszt arra kér egy AI chatbotot, hogy két, sok felhasználó által nem ismert, meglehetősen speciális programozási eszközzel programozzon. Lényegében az AI chatbot tudását teszteli a nagy nyelveken túl. Ezt a tesztet eredetileg a következőben dokumentáltam: "A Google bemutatja a Gemini Code Assist-et, és óvatosan optimista vagyok, hogy segíteni fog a programozóknak."

Végigvezetem az egyes teszteken, és összehasonlítom az eredményeket a többi általam tesztelt AI chatbot eredményeivel. Így jobban felmérheti, miben különböznek az AI chatbotok a kódolási teljesítmény tekintetében.

Ezúttal a Meta új Meta AI-jét teszem próbára. Kezdjük.

1. WordPress bővítmény írása

Íme a Meta AI által generált felület a bal oldalon, összehasonlítva a jobb oldali ChatGPT által generált felülettel:

Mindkét AI chatbot generálta a szükséges mezőket, de a ChatGPT prezentációja tisztább volt, és minden mezőhöz tartalmazott fejlécet. A ChatGPT a Véletlenszerű beállítás gombot is megfelelőbb helyre helyezte a funkciónak megfelelően.

Ami a működést illeti, a ChatGPT felvett egy sor nevet, és a vártnak megfelelően véletlenszerű eredményeket produkált. Sajnos a Meta AI bevitt egy sor nevet, felvillantott valamit, majd egy fehér képernyőt mutatott be. Ezt a WordPress világában általában "a halál fehér képernyőjének" nevezik.

Íme ennek és a korábbi teszteknek az összesített eredménye:

• Meta AI: Interfész: megfelelő, funkcionalitás: sikertelen
• Meta Code Llama: Teljes hiba
• Google Gemini Advanced: Interfész: jó, funkcionalitás: sikertelen
• ChatGPT: Interfész: jó, funkcionalitás: jó

2. Karakterlánc-függvény átírása

Ez a teszt a dollár- és centkonverziók tesztelésére szolgál. A Meta AI-nek négy fő problémája volt: akkor módosította az értékeket, amikor nem kellett volna, nem tesztelte megfelelően a több tizedesvesszővel rendelkező számokat, teljesen kudarcot vallott, ha egy dollárban két tizedesjegynél kevesebb volt (más szóval, sikertelen 5 vagy 5,2 dollár bemenettel), és a feldolgozás befejezése után elutasította a helyes számokat, mert helytelenül formázta azokat.

Ez egy meglehetősen egyszerű feladat, amelyet a legtöbb elsőéves informatikus hallgatónak el kell tudnia végezni. Kiábrándító, hogy a Meta AI kudarcot vallott, különösen, hogy a Meta Code Llama sikeres volt ugyanazzal a teszttel.

Íme ennek és a korábbi teszteknek az összesített eredménye:

• Meta AI: Sikertelen
• Meta Code Llama: Sikerült
• Google Gemini Advanced: Sikertelen
• ChatGPT: Sikerült

3. Bosszantó hiba keresése

Ez nem programozási feladat. Ez a teszt néhány már létező kódrészletet vesz fel a hibaadatokkal és a probléma leírásával együtt. Ezután megkéri az AI chatbotot, hogy derítse ki, mi a hiba a kóddal, és javasoljon javítást.

A kihívás itt az, hogy van egy kézenfekvő válasz, ami rossz. A probléma megköveteli a WordPress API működésének alapos ismeretét, valamint a megírandó program különböző összetevői közötti kölcsönhatások megértését.

A Meta AI ezt remekül teljesítette. Nemcsak helyesen azonosította a hibát, de még olyan javaslatot is tett, amely bár nem szükséges, javította a kód hatékonyságát.

Miután ilyen csúnya kudarcot vallott egy egyszerű karakterlánc-függvény átírása, nem számítottam arra, hogy a Meta AI sikeres lesz egy lényegesen nagyobb kihívást jelentő problémában. Ez azt mutatja, hogy az AI chatbotok válaszai nem feltétlenül következetesek.

Íme ennek és a korábbi teszteknek az összesített eredménye:

• Meta AI: Sikerült
• Meta Code Llama: Sikertelen
• Google Gemini Advanced: Sikertelen
• ChatGPT: Sikerült

4. Szkript írása

Ehhez a teszthez a MacOS Keyboard Maestro szkriptkészítő eszközének, az Apple AppleScript szkriptnyelvének és a Chrome szkriptelési viselkedésének kódolási ismerete szükséges.

A Keyboard Maestro egy elképesztően erős eszköz (ez az egyik oka annak, hogy Mac-eket használok elsődleges munkagépeimként), de ez egy meglehetősen homályos termék, amelyet egy magányos programozó írt Ausztráliában. Ha egy mesterséges intelligencia chatbot képes kódolni ezzel az eszközzel, akkor valószínűleg megfelelő kódolási ismeretekkel rendelkezik több nyelven. Az AppleScript az Apple MacOS szkriptnyelve, de ez is meglehetősen homályos.

A Meta AI és a Meta Code Llama is pontosan ugyanúgy meghibásodott: nem az utasításoknak megfelelően kértek le adatokat a Keyboard Maestroból. Úgy tűnt, egyikük sem tudott az eszközről. Ezzel szemben a Gemini és a ChatGPT is tudta, hogy ez egy külön eszköz, és helyesen kérte le az adatokat.

Íme ennek és a korábbi teszteknek az összesített eredménye:

• Meta AI: Sikertelen
• Meta Code Llama: Sikertelen
• Google Gemini Advanced: Sikeres
• ChatGPT: Sikerült

Összesített eredmények

Íme a négy teszt összesített eredménye:

• Meta AI: 4-ből 1 sikerült
• Meta Code Llama: 4-ből 1 sikerült
• Google Gemini Advanced: 4-ből 1 sikerült
• ChatGPT: 4-ből 4 sikerült

Körülbelül hat hónapja használtam a ChatGPT-t kódolási projektek segítésére. Az eredményekben semmi sem győzött meg arról, hogy váltsak egy másik AI chatbotra. Valójában, ha az AI chatbotok bármelyikét használnám, attól tartok, hogy esetleg több időt töltök az ellenőrzéssel és a hibák megtalálásával, mint a munka elvégzésével.

Csalódott vagyok a többi nagy nyelvi modellben. Tesztjeim azt mutatják, hogy a ChatGPT továbbra is a vitathatatlan kódoló bajnok, legalábbis egyelőre.

Próbáltál már kódolni Meta AI-vel, Geminivel vagy ChatGPT-vel? Milyen tapasztalatai vannak? Tudassa velünk az alábbi megjegyzésekben.

A közösségi médiában nyomon követheti a projektekkel kapcsolatos napi híreket. Feltétlenül iratkozzon fel a heti frissített hírlevelemre, és kövessen engem a Twitter/X-en a @DavidGewirtz címen, a Facebookon a Facebook.com/DavidGewirtz címen, az Instagramon az Instagram.com/DavidGewirtz címen és a YouTube-on a YouTube.com/DavidGewirtzTV címen.