Az OpenAI segítségével a fejlesztők valós idejű hangalkalmazásokat készíthetnek - jelentős felár ellenében
A valós idejű hangok küldése és fogadása kétszer annyiba kerül a fejlesztőknek, mint a csak szöveget tartalmazó nagy nyelvi modellek.
Az OpenAI éves fejlesztői napjára szerdán került sor San Franciscóban, egy sor termék- és funkcióbejelentéssel. Az esemény központi eleme volt, hogy a vállalat bemutatta valós idejű alkalmazásprogramozási felületét (API).
A fejlesztők számára elérhető szolgáltatás lehetővé teszi beszélt nyelvű bemenetek és kimenetek küldését és fogadását a következtetési műveletek során, vagy előrejelzéseket készíthet egy termelési nagynyelvi modellel (LLM). Remélhetőleg ez a fajta interakció gördülékenyebb, valós idejű beszélgetést tesz lehetővé egy személy és egy nyelvi modell között.
Ez a képesség is komoly prémiummal jár. Az OpenAI jelenleg a valós idejű API alapját képező GPT-4o nagynyelvi modell ára 2,50 dollár millió beviteli tokenenként és 10 dollár millió kimeneti tokenenként.
A valós idejű bemeneti és kimeneti költség legalább kétszerese ennek, mind a szöveges, mind az audio tokenek alapján, mivel a GPT-4o-nak mindkét típusú bemenetre és kimenetre szüksége van. A GPT-4o bemeneti és kimeneti tokenek a valós idejű API használatakor 5 dollárba, illetve 20 dollárba kerülnek millió tokenenként.
Sűrű program a fejlesztői napon.
A hangtokenek költsége óriási 100 dollár millió hangbemeneti tokenenként és 200 dollár millió hangkimeneti tokenenként.
Az OpenAI megjegyzi, hogy a hangbeszélgetésekre vonatkozó szabványos statisztikákkal az audio tokenek ára "körülbelül 0,06 dollár/perc hangbemenetnek és 0,24 dollár/perc hangkimenetnek felel meg."
Az OpenAI árazási táblázata valós idejű API függvényhívásokhoz GPT-4o nagy nyelvi modellkövetkeztetésben.
Az OpenAI példákat ad arra, hogyan használható a valós idejű hang a generatív mesterséges intelligencia során, beleértve az automatizált egészségügyi edzőt, aki tanácsot ad egy személynek, és egy nyelvi oktatót, aki beszélgetéseket folytathat a tanulókkal egy új nyelv gyakorlása érdekében.
A fejlesztői konferencia során az OpenAI lehetőséget kínált a fejlesztők összköltségének csökkentésére, gyorsítótárazás segítségével, amely a modellhez korábban benyújtott bemeneteken lévő tokeneket újrahasználja. Ez a megközelítés felére csökkenti a GPT-4o beviteli szöveges tokenek árát.
Szintén szerdán mutatták be az LLM "lepárlást", amely lehetővé teszi a fejlesztők számára, hogy a nagyobb modellek adatait kisebb modellek betanítására használják fel.
A fejlesztő rögzíti az OpenAI egyik jobban használható nyelvi modelljének, például a GPT-4o-nak a bemenetét és kimenetét a „tárolt kiegészítésekként” ismert technikával. Ezek a tárolt befejezések ezután a tanítási adatokká válnak egy kisebb modell, például a GPT-4o mini "finomhangolásához".
Az OpenAI a lepárlási szolgáltatást úgy számlázza ki, hogy kiküszöbölje a fejlesztők által a kisebb modellek nagyobb modellekből való betanításához szükséges iteratív munkát.
"Eddig a desztilláció többlépcsős, hibákra hajlamos folyamat volt" - írja a cég blogja, "amelynek során a fejlesztőknek több műveletet manuálisan kellett hangszerelni a leválasztott eszközök között, az adatkészletek generálásától a modellek finomhangolásáig és a teljesítmény méréséig. fejlesztések."
A desztilláció az OpenAI meglévő finomhangoló szolgáltatása mellett jön, a különbség az, hogy a nagyobb modell bemeneti-kimeneti párjait használhatja finomhangolási adatokként. A finomhangoló szolgáltatáshoz a cég szerdán képfinomhangolást is adott. A fejlesztő képekből álló adatkészletet küld el, akárcsak a szöveget, hogy egy meglévő modellt, például a GPT-4o-t specifikusabbá tegye egy feladatra vagy egy tudástartományra.
Gyakorlati példa erre a Grab ételszállító szolgálat által végzett munka. A cég az utcatáblák valós képeit használja, hogy a GPT-4o elvégezze a vállalat szállítási útvonalainak feltérképezését. "A Grab 20%-kal javította a sávszámlálás pontosságát és 13%-kal a sebességkorlátozó táblák lokalizációját egy alap GPT-4o modellhez képest, lehetővé téve számukra, hogy jobban automatizálják térképezési műveleteiket egy korábban manuális folyamatból" - mondja az OpenAI.
Az árképzés azon alapul, hogy a fejlesztő által beküldött minden egyes képet tokenekbe kell feldarabolni, amelyek ára 3,75 dollár millió bemeneti tokenenként és 15 dollár millió kimeneti tokenenként, ugyanaz, mint a normál finomhangolásnál. Képzési képmodellek esetében a költség 25 dollár millió tokenenként.