Mitmesugust

Sügav õppimine võimaldab täpset reaalajas huulte sünkroonimist 2D-animatsiooni jaoks

Sügav õppimine võimaldab täpset reaalajas huulte sünkroonimist 2D-animatsiooni jaoks

Kaks Adobe Researchi ja Washingtoni ülikooli teadlast tutvustasid sügavõppepõhist interaktiivset süsteemi, mis võtab näitlejatelt otseülekandeid ja tekitab 2-D animeeritud tegelaste jaoks reaalajas huulte sünkrooni.

Süsteem võimaldab teistsugust animatsioonikogemust, kus publik ja näitlejad saavad üksteisega suhelda, nähes samal ajal ekraanil peegeldades oma koomiksiga doppelgangereid.

SEOTUD: 3D-KUNSTNIK LOOB MEIE PÄIKESESÜSTEEMIS VÕRDLEVA ANIMATSIOONI, KES VÕRDLAB PLANEETI JA KUU SUURUST

Mis on elav 2D-animatsioon?

Veel 1997. aastal Simpsonite episoodis “Sügelev ja kriimuline ning Poochie show” küsis Homer Simpson koomiksianimaatorite toalt, kas nende loodud episood on otseülekandes.

Häälnäitleja vastas naljatades: „Otseülekandeid tehakse väga vähestest multifilmidest. See on animaatorite randmete kohutav koormus. "

Tundub, et Homerose näol oli tegemist prohvetliku visiooniga, nagu ka 2019. aastal on otsene 2D-animatsioon võimas uus meedium, kus näitlejad saavad ekraanil kuvada stseeni, mis animeeritakse samal ajal.

Esimese elav multifilm, The Simpsonite saade, jõudis eetrisse 2016. aastal. Meedia üks hiljutisi näiteid nägi Stephen Colberti hilissaates multikakülalisi, sealhulgas Donal Trumpi.

Teine nägi Archeri peategelast ComicConi paneeliüritusel otse-eetris publikuga rääkimas ja küsimustele vastamas.

Reaalajas animatsioonitehnika kasutab näotuvastustarkvara, kaameraid, salvestusseadmeid ja digitaalse animatsiooni tehnikaid reaalajas toimiva stseeni kõrval toimuva otse-animatsiooni loomiseks.

Masinõpe võimaldab sellel kõigel veelgi sujuvamalt kulgeda ja muudkui paraneda.

Live huulte sünkroonimine

Live-2D-animatsiooni põhiaspekt on hea huulte sünkroonimine. See võimaldab animeeritud tegelaste suudel kõnes korralikult liikuda ja peegeldada inimnäitlejate etendusi.

Kehv huulte sünkroonimine võib seevastu sarnaselt halvale keelele dubleerimise tehnikat muuta või rikkuda, rikkudes keelekümblust.

ArXivis eelavaldatud artiklis tutvustasid kaks Adobe Researchi ja Washingtoni ülikooli teadlast oma süvaõppepõhist interaktiivset süsteemi, mis genereerib kihiliste 2-D animeeritud tähemärkide jaoks automaatselt elava huulte sünkroonimise.

Nende väljatöötatud närvivõrgusüsteem kasutab pikaajalise lühimälu (LSTM) mudelit.

As Techexplore Li ja Aneja LSTM-i mudel on näidanud nii muljetavaldavaid tulemusi, et Adobe otsustas integreerida selle versiooni oma 2018. aastal välja antud tarkvarasse Adobe Character Animator.

Süsteemi saab kasutada reaalajas huulte sünkroonimise loomiseks mõeldud mudelite treeningandmete nõuete drastiliseks vähendamiseks. Samal ajal pakub see tõhusat huulte sünkroonimist, mis pole traditsioonilisest animatsioonist liiga kaugel - võimaldades 2D-animatsioonil elada nagu kunagi varem.


Vaata videot: Manifest Miracles I Attraction 432 Hz I Elevate Your Vibration (Jaanuar 2022).