IA para dublagem labial pode mudar a indústria cinematográfica; saiba como

Em Hollywood, muito dinheiro está sendo perdido na tradução.

Mesmo que as empresas invistam em traduções de roteiros de qualidade e melhores atuações de dubladores, o entretenimento dublado muitas vezes ainda parece tão cafona quanto os antigos filmes de kung fu. Não importa quão bom seja o som, parece errado. Os lábios não mentem. 

“Os lábios são sempre, sempre a última peça que ninguém resolve”, diz Jonathan Bronfman, cofundador e CEO da empresa de efeitos visuais Monsters Aliens Robots Zombies (MARZ).

LipDub AI

No início deste ano, a empresa de Bronfman apresentou uma tecnologia chamada LipDub AI, que manipula digitalmente as expressões faciais dos atores para corresponder às palavras faladas em idiomas estrangeiros. A tecnologia promete alcançar um nível extraordinário de realismo e fluência, aprendendo a fazer os lábios dos atores corresponderem ao idioma e aos intérpretes.

O LipDub AI combina a análise de áudio com dados de vídeo para alcançar uma precisa sincronização labial. O resultado é um vídeo onde os movimentos dos lábios coincidem com as palavras faladas na trilha de áudio, proporcionando maior realismo em aplicações como dublagem de filmes, videoconferência e animações de personagens.

Adaptar essa tecnologia em um produto valioso para as indústrias cinematográfica e publicitária apresentou desafios complexos aos pesquisadores. Os diversos elementos da produção cinematográfica, como mudanças na iluminação e nos ângulos de câmera, juntamente com cenas com múltiplos atores ou vários rostos, exigiam um cuidado especial.

Um obstáculo significativo surgiu quando a IA inicialmente não conseguiu diferenciar entre falantes e não falantes. Isso resultou em cenas em que os lábios de cada personagem se moviam em sincronia com uma única linha falada.

“No início, tivemos que colocar caixas pretas sobre os rostos que não queríamos falar”, diz Matt Panousis, cofundador e diretor de operações da MARZ. “Uma coisa é fazer isso em um simples videoclipe. Outra é fazer upload de um filme inteiro.” 

O futuro da IA ​​em Hollywood ainda está sendo determinado. O sindicato SAG-AFTRA e os estúdios de Hollywood estão discutindo o papel da tecnologia nas produções – e a necessidade de consentimento explícito dos atores complicará os acordos necessários para que Lipdub AI e outras tecnologias possam ser utilizadas.

Se a LipDub AI e tecnologias semelhantes prosperarem, poderão expandir o alcance de filmes nacionais e estrangeiros, beneficiando criadores de todo o mundo.

Leia também: