A Google új AI-modellje zenét generál az agyi tevékenységedből. Hallgass magadra

A hallgatott zene meghatározott agyi mintákat hoz létre, amelyeket a mesterséges intelligencia felhasználhat ugyanazon hang generálására. Itt van, hogyan.

A Google nem újdonság a mesterséges intelligencia használatában zenekészítésben, januárban indította el MusicLM-jét, hogy szövegből zenét generáljon. A Google most megnövelte az ante-ot, és mesterséges intelligencia segítségével olvassa le az agyát - és hangot állít elő az agyi tevékenysége alapján.

Egy új kutatási cikkben, aBrain2Musicban, a Google mesterséges intelligencia segítségével rekonstruálja a zenét az agyi tevékenységből, a funkcionális mágneses rezonancia képalkotás (fMRI) adatai alapján.

A kutatók öt kísérleti alanytól gyűjtött fMRI-adatokat tanulmányozták, akik ugyanazt a 15 másodperces zenei klipet hallgatták különböző műfajokban, beleértve a bluest, a klasszikust, a countryt, a disco, a hip-hop, a jazz, a metal, a pop, a reggae és a rockot.

Ezután ezeket az adatokat egy mély neurális hálózat képzésére használták fel, hogy megismerjék az agyi aktivitási minták és a zene különböző elemei, például a ritmus és az érzelmek közötti kapcsolatot.

A modell betanítása után a MusicLM használatával rekonstruálhatja a zenét egy fMRI-ből. Mivel a MusicLM szövegből generál zenét, az eredeti zenei ingerekhez szemantikai szinten hasonló zenét hoz létre.

A tesztelés során a generált zene hasonlított azokra a zenei ingerekre, amelyeket a résztvevő kezdetben hallgatott, például műfaj, hangszerelés, hangulat stb.

A kutatóoldal oldalán több klipet is meghallgathat az eredeti zenei ingerekből, és összehasonlíthatja azokat a MusicLM által generált rekonstrukciókkal. Az eredmények elég hihetetlenek.

Az egyik klip esetében az inger egy 15 másodperces klipje volt Britney Spears ikonikus "Oops!...I Did It Again" című filmjének. A három rekonstrukció mákos és vidám volt, akárcsak az eredeti.

A hanganyag természetesen nem hasonlított az eredetire, mivel a tanulmány a zene különböző elemeire összpontosít, nem a szövegre.

Lényegében a modell képes olvasni a gondolataidban (technikailag az agyi mintázatban), hogy olyan zenét hozzon létre, amely hasonló ahhoz, amit hallgattál.