A Google AI videógenerátor technológiája egészen elképesztő. Nézd meg magad
A Lumiere, a Google mesterséges intelligencia-generáló modellje segítségével egy gyors szöveges üzenet zökkenőmentes és valósághű videót hozhat létre.
A DALL-E 2 2022 végi megjelenése óta a szöveg-kép generátorok divatosak, és rengeteg méltó versenytárs lépett a piacra. Most, több mint egy évvel később egy új technológia hajnalán járunk: az AI-videógeneráció.
Kedden a Google Research kiadott egy kutatási tanulmányt a Lumiere-ről, egy szöveg-videó diffúziós modellről, amely rendkívül valósághű videót tud készíteni szöveges felszólításokból és egyéb képekből.
A modellt úgy tervezték, hogy megbirkózzon egy jelentős kihívással a videógenerálás szintézisében, amely "realisztikus, változatos és koherens mozgást" hoz létre a lap szerint. Lehet, hogy észrevette, hogy a videógenerációs modellek jellemzően szaggatott videót jelenítenek meg, de a Google megközelítése zökkenőmentesebb megtekintési élményt biztosít, amint az az alábbi videóban is látható.
A videoklipek nem csak simán nézhetők, de hiperrealisztikusnak is tűnnek, ami jelentős frissítés más modellekhez képest. A Lumiere ezt a Space-Time U-Net architektúrájával tudja elérni, amely egyetlen lépéssel egyszerre generálja a videó időbeli időtartamát.
Ez a videó-előállítási módszer eltér más létező modellektől, amelyek távoli kulcskockákat szintetizálnak. A lap szerint ez a megközelítés eleve kihívást jelent a videó konzisztenciájának elérése érdekében.
A Lumiere különféle bemenetekről tud videót generálni, beleértve a szöveget videóvá, amely úgy működik, mint egy normál képgenerátor, és videót generál szöveges promptból, valamint a képről videóra, amely képet készít, és a kísérő prompt segítségével hozza létre a fotó életre kelt egy videóban.
A modell szórakoztató pörgetést is tud tenni a videógenerálásban a stilizált generáláson keresztül, amely egyetlen referenciaképet használ a videó létrehozásához a célstílusban egy felhasználói prompt segítségével.
A videó létrehozása mellett a modell használható meglévő videó szerkesztésére is különféle vizuális stilizációkkal, amelyek úgy módosítják a videót, hogy egy adott promptot tükrözzenek, filmfelvételekkel, amelyek a fénykép egy adott területét animálják, és festéssel, amely kitölti a hiányzó vagy sérült területeket. a videót.
A cikkben a Google a Lumiere teljesítményét más kiemelkedő szöveg-videó diffúziós modellekhez mérte, beleértve az ImagenVideo-t, a Pika-t, a ZeroScope-ot és a Gen2-t, és felkérte a tesztelők egy csoportját, hogy válasszák ki az általuk jobbnak ítélt videót a vizuális minőség és a mozgás szempontjából. anélkül, hogy tudná, melyik modell hozta létre az egyes videókat.
A Google modellje minden kategóriában felülmúlta a többit, beleértve a szöveg-videó minőséget, a szöveg-videó szövegigazítást és a kép-videó minőséget.
A modellt még nem hozták nyilvánosságra; Ha azonban többet szeretne megtudni, vagy megnézni a modelleket működés közben, felkeresheti a Lumiere weboldalát, ahol rengeteg demót láthat a különböző feladatokat ellátó modellről.