A Hollywood s'estan perdent molts diners en traducció.
Fins i tot si les empreses inverteixen en traduccions de guions de qualitat i millors interpretacions dels actors de veu, l'entreteniment doblat sovint encara sembla tan cursi com les antigues pel·lícules de kung fu. Per molt bo que sigui el so, se sent malament. Els llavis no menteixen.
PUBLICITAT
"Els llavis són sempre, sempre l'última peça que ningú resol", diu Jonathan Bronfman, cofundador i CEO de l'empresa d'efectes visuals Monsters Aliens Robots Zombies (MARZ).
Com la IA per al doblatge de llavis podria canviar la indústria cinematogràfica https://t.co/Db0XAqF52G
— Fast Company (@FastCompany) Novembre 19, 2023
LipDub AI
A principis d'aquest any, l'empresa de Bronfman va introduir una tecnologia anomenada LipDub AI, que manipula digitalment les expressions facials dels actors per fer coincidir les paraules parlades en llengües estrangeres. La tecnologia promeaconseguir un nivell extraordinari de realisme i fluïdesa, aprenent a fer coincidir els llavis dels actors amb la llengua i els intèrprets.
O LipDub AI combina l'anàlisi d'àudio amb dades de vídeo per aconseguir una sincronització de llavis precisa. El resultat és un vídeo on els moviments dels llavis coincideixen amb les paraules pronunciades a la pista d'àudio, proporcionant un major realisme en aplicacions com el doblatge de pel·lícules, videoconferències i animacions de personatges.
PUBLICITAT
L'adaptació d'aquesta tecnologia en un producte valuós per a la indústria cinematogràfica i publicitària va presentar als investigadors reptes complexos. Els diferents elements de la producció cinematogràfica, com els canvis en la il·luminació i els angles de la càmera, juntament amb les escenes amb múltiples actors o múltiples cares, requerien una cura especial.
Un obstacle important va sorgir quan la IA inicialment no va poder diferenciar entre parlants i no parlants. Això va donar lloc a escenes en què els llavis de cada personatge es movien sincronitzats amb una única línia parlada.
"Al principi, vam haver de posar caixes negres a les cares de les quals no volíem parlar", diu Matt Panousis, cofundador i director d'operacions de MARZ. "Una cosa és fer-ho en un vídeo musical senzill. Una altra és pujar una pel·lícula sencera".
PUBLICITAT
El futur de l'IA a Hollywood encara s'està determinant. El sindicat SAG-AFTRA i els estudis de Hollywood estan discutint el paper de la tecnologia en les produccions, i la necessitat del consentiment explícit dels actors complicarà els acords necessaris per fer-ho realitat. Lipdub AI i es poden utilitzar altres tecnologies.
Si el LipDub AI i les tecnologies similars prosperen, podria ampliar l'abast de pel·lícules nacionals i estrangeres, beneficiant a creadors de tot el món.
Llegiu també:
* El text d'aquest article ha estat generat parcialment per eines d'intel·ligència artificial, models de llenguatge d'última generació que ajuden a la preparació, revisió, traducció i resum de textos. Les entrades de text les va crear Curto Les notícies i les respostes d'eines d'IA es van utilitzar per millorar el contingut final.
És important destacar que les eines d'IA són només eines i la responsabilitat final del contingut publicat recau en el Curto Notícies. Amb un ús responsable i ètic d'aquestes eines, el nostre objectiu és ampliar les possibilitats de comunicació i democratitzar l'accés a la informació de qualitat. 🤖
PUBLICITAT
