A globális szereplők a generatív mesterségesintelligencia-alkalmazások kiértékelésének alapjait igyekeznek létrehozni
A szingapúri kezdeményezés célja, hogy szabványos benchmark-készletet biztosítson a generatív AI-termékek értékeléséhez, egyesítve a nagy piaci szereplők erőforrásait, köztük az Anthropicot, a Google-t és a Microsoftot.
Erőfeszítések folynak annak érdekében, hogy a generatív mesterséges intelligencia (AI) termékeinek értékeléséhez közös benchmark-készletet biztosítsanak, és egy „ismeretanyagot” hozzanak létre arról, hogyan kell ezeket az eszközöket tesztelni.
A cél az, hogy szabványos megközelítést biztosítsunk a generatív mesterségesintelligencia-alkalmazások értékeléséhez, és ösztönözzük a kockázatok kezelésére irányuló erőfeszítéseket. Ez a közös megközelítés elmozdulást jelent a meglévő „darabonkénti” erőfeszítésektől.
A Sandbox névre keresztelt kezdeményezést a szingapúri Infocomm Media Development Authority (IMDA) és az AI Verify Foundation vezeti, és olyan globális piaci szereplőktől kapott támogatást, mint az Amazon Web Services (AWS), az Anthropic, a Google és a Microsoft. Ezek a szervezetek egy jelenleg 15 résztvevőből álló csoport részét képezik, amelybe a Deloitte, az EY és az IBM, valamint a szingapúri székhelyű OCBC Bank és a Singtel telco is tartozik.
A Sandboxot egy új katalógusvázlat vezérli, amely kategorizálja a jelenlegi referenciaértékeket és a nagy nyelvi modellek (LLM) értékeléséhez használt módszereket. A katalógus összeállítja az általánosan használt technikai tesztelési eszközöket, aszerint rendezve ezeket, hogy mire és milyen módszerekkel tesztelik, és a generatív mesterségesintelligencia-termékek értékeléséhez egy alapszintű tesztkészletet ajánl - közölte az IMDA.
A cél egy közös nyelv kialakítása és a "generatív mesterséges intelligencia szélesebb körű, biztonságos és megbízható elfogadása" támogatása.
"A modellek szisztematikus és robusztus kiértékelése az LLM-irányítás kritikus eleme, és elősegíti a bizalom alapját ezeknek a technológiáknak a használatában" - mondta az IMDA.
"A szigorú értékelés során feltárulnak egy modell képességei, ami segíthet meghatározni a tervezett felhasználást és a lehetséges korlátokat. Az értékelés [is] létfontosságú útitervet ad a fejlesztőknek a fejlesztésekhez."
Ennek a közös nyelvnek a megvalósításához szabványosított taxonómiára és az LLM-ek telepítés előtti biztonsági értékeléseinek alapkészletére van szükség. A szingapúri kormányhivatal reméli, hogy a katalógustervezet kiindulópontot kínál a globális vitákhoz, amelyek célja az LLM-ek biztonsági szabványaival kapcsolatos konszenzus kialakítása.
A közös szabványok felé való elmozdulás azt is jelenti, hogy a modellfejlesztőkön kívül más érdekelt feleket is bevonunk az ökoszisztémába, például a modellekre építkező alkalmazásfejlesztőket és a harmadik féltől származó tesztelőeszközök fejlesztőit.
A Sandboxon keresztül az IMDA olyan használati eseteket szeretne kínálni, amelyek magukban foglalják a generatív AI-modell-fejlesztőt, az alkalmazás-telepítőt és a külső tesztelőt, hogy bemutassák, hogyan tudnak együttműködni a különböző játékosok. Például a modellfejlesztők, mint például az Anthropic vagy a Google, együttműködhetnek az OCBC vagy a Singtel alkalmazásfejlesztőivel, valamint külső tesztelőkkel, mint például a Deloitte és az EY, valamint generatív mesterségesintelligencia-használati esetekkel a pénzügyi szolgáltatások vagy a távközlési szektor számára.
A szabályozó hatóságokat, például a szingapúri Személyes Adatvédelmi Bizottságot is be kell vonni, így a Sandbox olyan környezetet biztosíthat a kísérletezéshez és fejlesztéshez, ahol az ökoszisztémában minden fél „átláthatóan” tudhatja igényeit - mondta az IMDA.
Az IMDA azt várja, hogy a Sandbox feltárja a generatív mesterségesintelligencia-értékelések jelenlegi állapotában a hiányosságokat, beleértve a tartomány-specifikus alkalmazásokat, például az emberi erőforrásokat és a kulturális specifikus területeket, amelyek jelenleg még fejletlenek.
"A Sandbox benchmarkokat fog kidolgozni a modell teljesítményének értékelésére azokon a területeken, amelyek fontosak a használati esetek szempontjából, illetve olyan országokban, mint Szingapúr a kulturális és nyelvi sajátosságok miatt" - mondta az IMDA.
A szingapúri ügynökség közölte, hogy együttműködik az Anthropic-cal egy Sandbox projektben, amely a katalógus segítségével azonosítja a red teaming szempontjait, amely az AI-rendszerekben alkalmazott irányelveket és feltételezéseket ellentétes megközelítéssel próbálja megkérdőjelezni.
Az IMDA az Anthropic modelljeit és kutatási eszközplatformját fogja felhasználni, hogy Szingapúr változatos nyelvi és kulturális környezetéhez szabott red-teaming módszertanokat dolgozzon ki. Például az AI-modelleket értékelni fogják, hogy mennyire teljesítenek az ország többnyelvű környezetében.
Júliusban a szingapúri kormány elindított két homokozót, amelyek a Google Cloud generatív mesterséges intelligencia eszközkészletein futnak, amelyek közül az egyiket kizárólag a kormányzati szervek használják generatív AI-alkalmazások fejlesztésére és tesztelésére. A másik homokozó a helyi szervezetek rendelkezésére áll, és három hónapig ingyenesen biztosítjuk, akár 100 felhasználási esetig.