La Hollywood se pierd mulți bani în traduceri.
Chiar dacă companiile investesc în traduceri de scenarii de calitate și în performanțe mai bune de la actori vocali, divertismentul numit deseori arată în continuare la fel de banal ca filmele vechi de kung fu. Indiferent cât de bun este sunetul, se simte greșit. Buzele nu mint.
PUBLICITATE
„Buzele sunt întotdeauna, întotdeauna ultima piesă pe care nimeni nu o rezolvă”, spune Jonathan Bronfman, co-fondator și CEO al companiei de efecte vizuale Monsters Aliens Robots Zombies (MARZ).
Cum AI pentru dublarea buzelor ar putea schimba industria filmului https://t.co/Db0XAqF52G
— Fast Company (@FastCompany) Noiembrie 19, 2023
LipDub AI
La începutul acestui an, compania lui Bronfman a introdus o tehnologie numită LipDub AI, care manipulează digital expresiile faciale ale actorilor pentru a se potrivi cu cuvintele rostite în limbi străine. Tehnologia promeatinge un nivel extraordinar de realism și fluență, învățând cum să faci buzele actorilor să se potrivească cu limba și cu interpreții.
O LipDub AI combină analiza audio cu datele video pentru a obține o sincronizare precisă a buzelor. Rezultatul este un videoclip în care mișcările buzelor se potrivesc cu cuvintele rostite pe pista audio, oferind un realism mai mare în aplicații precum dublarea filmelor, conferințe video și animații de personaje.
PUBLICITATE
Adaptarea acestei tehnologii într-un produs valoros pentru industria cinematografică și de publicitate a prezentat cercetătorilor provocări complexe. Diferitele elemente ale producției de film, cum ar fi schimbările de iluminare și unghiurile camerei, împreună cu scenele cu mai mulți actori sau mai multe fețe, au necesitat o îngrijire specială.
Un obstacol semnificativ a apărut atunci când AI nu a reușit inițial să facă diferența între vorbitori și necuvântatori. Acest lucru a dus la scene în care buzele fiecărui personaj s-au mișcat sincronizat cu o singură linie rostită.
„La început, a trebuit să punem cutii negre peste fețele despre care nu am vrut să vorbim”, spune Matt Panousis, co-fondator și director de operațiuni MARZ. „Un lucru este să faci asta într-un videoclip muzical simplu. Altul este să încărcați un film întreg.”
PUBLICITATE
Viitorul AI la Hollywood este încă în curs de stabilire. Sindicatul SAG-AFTRA și studiourile de la Hollywood discută despre rolul tehnologiei în producții – iar nevoia de acord explicit al actorilor va complica acordurile necesare pentru ca acest lucru să se întâmple. Lipdub AI și alte tehnologii pot fi utilizate.
Se a LipDub AI iar tehnologiile similare prosperă, ar putea extinde acoperirea filmelor interne și străine, beneficiind creatorii din întreaga lume.
Citește și:
* Textul acestui articol a fost parțial generat de instrumente de inteligență artificială, modele de limbaj de ultimă generație care ajută la pregătirea, revizuirea, traducerea și rezumarea textelor. Intrările de text au fost create de către Curto Știrile și răspunsurile de la instrumentele AI au fost folosite pentru a îmbunătăți conținutul final.
Este important de subliniat că instrumentele AI sunt doar instrumente, iar responsabilitatea finală pentru conținutul publicat revine Curto Știri. Folosind aceste instrumente în mod responsabil și etic, obiectivul nostru este extinderea posibilităților de comunicare și democratizarea accesului la informații de calitate. 🤖
PUBLICITATE
