A ChatGPT a szoftvermérnöki kérdések több mint felére helytelenül válaszol
Érdemes lehet ragaszkodnia a Stack Overflow-hoz szoftvermérnöki segítségért.
A ChatGPT azon képessége, hogy bármely kérdésre bármikor társalgási válaszokat adjon, a chatbotot praktikus forrássá teszi az Ön információs igényeinek kielégítésére. A kényelem ellenére egy új tanulmány szerint előfordulhat, hogy nem kívánja használni a ChatGPT-t szoftverfejlesztési utasításokhoz.
Az AI chatbotok megjelenése előtt a Stack Overflow a ChatGPT-hez hasonló kérdés-felelet modellel a programozók fő forrása volt, akiknek tanácsra volt szükségük projektjeikhez.
A Stack Overflow esetén azonban meg kell várnia, hogy valaki válaszoljon a kérdésére, míg a ChatGPT-vel nem.
Ennek eredményeként sok szoftvermérnök és programozó a ChatGPT-hez fordult kérdéseivel. Mivel nem voltak adatok arra vonatkozóan, hogy a ChatGPT mennyire hatékonyan válaszol az ilyen típusú kérdésekre, a Purdue Egyetem új tanulmánya megvizsgálta a dilemmát.
Annak kiderítésére, hogy a ChatGPT mennyire hatékonyan válaszol a szoftverfejlesztési kérdésekre, a kutatók ChatGPT 517 Stack Overflow kérdéseket tettek fel, és megvizsgálták a válaszok pontosságát és minőségét.
Az eredmények azt mutatták, hogy az 512 kérdésből a ChatGPT válaszai közül 259 (52%) volt helytelen, és csak 248 (48%) volt helyes. Ráadásul a válaszok 77%-a bőbeszédű volt.
A válaszok jelentős pontatlansága ellenére az eredmények azt mutatták, hogy a válaszok az esetek 65%-ában átfogóak voltak, és a kérdés minden aspektusára vonatkoztak.
A ChatGPT válaszok minőségének további elemzése érdekében a kutatók 12, különböző szintű programozási szakértelemmel rendelkező résztvevőt kértek fel, hogy adjanak betekintést a válaszokba.
Bár a résztvevők a különböző kategóriákban a Stack Overflow válaszait részesítették előnyben a ChatGPT válaszaival szemben, amint azt a grafikon is mutatja, a résztvevők az esetek 39,34%-ában nem tudták helyesen azonosítani a helytelen ChatGPT által generált válaszokat.
A tanulmány szerint a ChatGPT jól artikulált válaszai miatt a felhasználók figyelmen kívül hagyták a hibás információkat a válaszokban.
"A felhasználók figyelmen kívül hagyják a helytelen információkat a ChatGPT-válaszokban (az esetek 39,34%-ában), a ChatGPT-válaszok átfogó, jól artikulált és humanoid meglátásai miatt" - írták a szerzők.
A hihetően hangzó, helytelen válaszok generálása minden chatbot esetében jelentős probléma, mert lehetővé teszi a téves információk terjesztését. Ezen a kockázaton túlmenően az alacsony pontossági pontszámnak elegendőnek kell lennie ahhoz, hogy újra meggondolja a ChatGPT használatát az ilyen típusú felszólításokhoz.