A legjobb Samsung telefonok 2024-ben
A Samsung körülbelül 60 mesterséges intelligencia modellt alkalmazott a Galaxy S22 Ultra kameráinak funkcióihoz, ami a cég vezetője szerint lehetővé teszi, hogy részletes fényképeket készítsen közeli felvételekről, éjszakai jelenetekről, és még a DSLR fényképezőgép minőségéhez is megfeleljen.
A Samsung körülbelül 60 új mesterséges intelligencia modellt alkalmazott, amelyeket a neurális feldolgozó egység (NPU) futtat a Galaxy S22 Ultra okostelefon-kamera funkcióinak optimalizálására - mondta a cég egyik vezetője.
Ez lehetővé tette a dél-koreai technológiai óriás számára, hogy olyan kameraélményeket kínáljon, amelyek az alkalmi felhasználókat a lehető legjobb fényképekkel elégítik ki, a professzionális felhasználókat pedig a DSLR fényképezőgépekkel készített RAW-fájlokkal - mondta Joshua Sungdae Cho, a Samsung MX üzletágának alelnöke és vizuális szoftver-kutatás-fejlesztési vezetője a ZDNetnek adott interjúban.
"Három évvel ezelőtt alkalmaztunk először NPU-kat okostelefonjainkra" - mondta Cho. "Abban az időben ezek az NPU körülbelül 10 mesterséges intelligencia modellt futtattak. A Galaxy S22 Ultra-n jelenleg 60 AI modell található. Alapvetően az NPU a kamerák szinte minden funkciójában részt vesz."
Az AI-modellek olyan döntéshozatali algoritmusok, amelyeket egy adatkészleten keresztül képeznek ki bizonyos feladatokra, míg az NPU-k kifejezetten az ilyen algoritmusok feldolgozására tervezett chipek.
Az egyik konkrét mesterséges intelligencia modell, amelyet a Samsung a Galaxy S22 Ultra-hoz használt, a portré mód, amelyben a személy és a háttér közötti mélység felismerése az elválasztáshoz - más néven szegmentálás - kulcsfontosságú.
"Nehéz megítélni a mélységet pusztán a kamerákkal. Egyes kamerák mélységérzékelőket használnak, de ehelyett az AI-modellek hatalmas mennyiségű mélységgel kapcsolatos képet tanulmányoztak különböző hátterekkel és tárgyakkal" - mondta Cho.
"Mivel az S22-n sokféle kameránk van, az AI modell két kamerával is edz, és különféle körülmények között tanulmányozza a képeket vezetékekkel, csészékkel, szemüvegekkel" - mondta az alelnök.
Zoom és éjszakai fotózás
A Galaxy S22 Ultra kamerái támogatják a 10-szeres optikai zoomot és a 100-szoros digitális zoomot. Nem ez az első modell, amely ezt megteszi, mivel a Samsung két évvel ezelőtt mutatta be először a 100-szoros digitális zoomot a Galaxy S20 Ultra-val, bár akkoriban vegyes fogadtatást kapott.
De az új mesterséges intelligencia modellek fejlesztésével, valamint a legújabb Galaxy S22 Ultra 4 nm-es mobilprocesszora által kínált számítási teljesítménnyel párosulva a Samsung bízott abban, hogy a 100-szoros digitális zoom legújabb iterációja lenyűgözi a felhasználókat - mondta az alelnök.
"A feldolgozási idő kulcsfontosságú egy olyan funkciónál, mint a 100-szoros zoom, és rendelkezünk a számítási erőforrásainkkal ennek kezeléséhez. A munka egy részét az NPU, másokat pedig a GPU végzi. És mindez kezelhető időkereten belül történik, mert a zoom lényegében az érzékelő egy meghatározott területe - például egy 12 MP-es zóna egy 108 MP-es érzékelőből. Így egy zoom pillanat számos bemenetet kap ebből a kisebb, 12 MP-es zónából.
"A 30-szoros digitális zoom felett készített képek esetén a fényképezőgép tíz-húsz háttérképet készít egy pillanat alatt. Ezután folytatja a több képkocka szintetizálását. Ezt követően újabb utófeldolgozást végez, hogy meghatározza, mely részleteken szeretne javítani" - mondta Cho.
A Galaxy S108 Ultra 22 MP-es kameraérzékelője akár kilenc pixelt is képes egybe csoportosítani, hogy jobban elnyelje az éjszakai fényt. Ez a technológia olyan mesterséges intelligencia modellekkel párosul, amelyek a zaj csökkentésére és annak biztosítására szolgálnak, hogy a képek "éjszakai hangulatúak" legyenek, miközben a fényerő növekszik - mondta az alelnök.
"A jel-zaj arányt sötétben rosszul befolyásolja. Ezért egy új mesterséges intelligencia modellel álltunk elő a zaj csökkentésére. Ezt az AI-modellt különféle éjszaka készített fényképeken vontattuk fel, a DSLR fényképezőgéppel készítettektől kezdve az általunk készített szintetizált képekig, amelyek szándékosan növelték a fényerőt vagy a zajt."
A Samsung általánosságban megváltoztatta a kamerák éjszakai fotózáshoz való hozzáállását is: "A korábbi 108 MP-es kamerával rendelkező Galaxy S telefonokban 12 MP-re csökkentettük a pixelszámot, majd 108 MP-re nagyítottuk a képet. A Galaxy S22 Ultra esetében, amikor éjszaka fényképeznek, a felvételt a 108 MP-es kamera és a 12 MP-es kamera készíti. A kép durva részleteit a 12 MP-es kamera, míg a finom részleteket a 108 MP-es kamera biztosítja."
Kép: Matthew Miller
Szintlépések a DSLR közelébe
A Galaxy S22 sorozat mindhárom modellje automatikus és profi módot kínál a szokásos kameraalkalmazásban, valamint a letölthető Expert RAW alkalmazást, amely több képkockás RAW fájlokat biztosít, amelyek az Adobe Lightroom segítségével szerkeszthetők.
"Nagyon szerettük volna, ha a Galaxy S22 sorozat kamerái lefedik az alkalmi és a professzionális felhasználókat" - mondta Cho. "A vásárlók ma nagyon jól ismerik az okostelefonok kameráit. Ezért az automatikus módban, amely a felhasználók többségét célozza meg, alapértelmezés szerint be van kapcsolva a jelenetoptimalizáló, hogy a legjobb színeket biztosítsuk a fényképek gyakran készített jeleneteihez. Azt is szerettük volna, ha a képernyő tiszta legyen ikonok nélkül, miközben a kamera értékei numerikusan jelennek meg. Azt akartuk, hogy a felhasználói felület a lehető legegyszerűbb legyen."
Míg a Pro mód képes RAW-fájlokat használni, az Expert RAW alkalmazás 16 bites, többképkockás RAW-fájlokat kínál.
"Teljes mértékben kihasználtuk az NPU és az AI modelleket a 16 bites RAW fájlokhoz. Egy pillanatfelvétel húsz felvételt gyűjt a háttérről, és a felhasználók egyszerre akár négy kamerát is használhatnak az Ultra modellhez" - mondta az alelnök.
A DSLR fényképezőgépek nagy érzékelőkkel rendelkeznek, amelyek lehetővé teszik a RAW képek zaj nélküli készítését, de eddig az okostelefonok kameráinál ezt nehéz volt utánozni gyenge fényviszonyok mellett, mivel kisebb érzékelőket tartalmaznak. Cho szerint azonban a Galaxy S22 sorozat NPU által kínált számítási teljesítmény miatt a 16 bites RAW-fájlok megegyeznek a DSLR fényképezőgépek által készített fájlokkal.
"A mai szakemberek RAW fájlokat akarnak okostelefonjukról. Az okostelefon nagyon kényelmes eszköz számukra, mivel egy okostelefon négy lencsét adhat nekik a tenyerükben. A DSLR fényképezőgépeknél a négy objektívet magával kell vinni. Nagyon szerettük volna ugyanazt a párosítási élményt nyújtani ennek a csoportnak okostelefonjainkon, mint egy DSLR-en. A Galaxy S22 sorozat a DSLR összes funkcióját kínálja, beleértve az utószerkesztést is."
A legjobb kamerabeállítást keresi
Az NPU-k feldolgozási teljesítménye minden évben megduplázódik, és ez a tendencia várhatóan legalább a következő öt évben folytatódni fog - mondta a Samsung alelnöke.
Az NPU-k ma képesek kezelni a 16 bites aritmetikát és a lebegőpontos aritmetikát, a végrehajtás sebessége és pontossága várhatóan tovább fog növekedni az elkövetkező években - mondta Cho.
A számítási erőforrások növekedésével párosulva a számítógépes fényképezés - vagy a digitális képrögzítési és -feldolgozási technikák - fejlődése várhatóan tovább fog javulni.
"A számítógépes fényképezés legtöbbet emlegetett témája a többkamerás technológia. A kutatók és a vállalatok még mindig kutatják, hogy melyik kamerabeállítás a legjobb. Hozzáadhatnánk több kamerát vagy kevesebb kamerát. Még mindig keressük az optimális többkamerás beállítást" - mondta az alelnök.
"A kamerák ma az okostelefonok központi elemei, és arra számítunk, hogy ez a tendencia a következő évtizedben is folytatódni fog. Bár jelenleg 60 AI modellt alkalmazunk, arra számítunk, hogy a több száz algoritmus által futtatott kamera összes funkcióját az NPU fogja futtatni.
"A 16 bites RAW fájlok jelenleg korlátozzák a felbontást. Ez folyamatos fejlesztést igényel. A 4K és 8K videók esetében a valós idejű felbontás javításához a mainál még nagyobb számítási teljesítményre van szükségünk. Ez két-három évet vesz igénybe."