IA para dublagem labial pode mudar a indústria cinematográfica; saiba como

Em Hollywood, muito dinheiro está sendo perdido na tradução.

Mesmo que as empresas invistam em traduções de roteiros de qualidade e melhores atuações de dubladores, o entretenimento dublado muitas vezes ainda parece tão cafona quanto os antigos filmes de kung fu. Não importa quão bom seja o som, parece errado. Os lábios não mentem. 

“Os lábios são sempre, sempre a última peça que ninguém resolve”, diz Jonathan Bronfman, cofundador e CEO da empresa de efeitos visuais Monsters Aliens Robots Zombies (MARZ).

How AI for lip dubbing could change the film industry https://t.co/Db0XAqF52G

— Fast Company (@FastCompany) November 19, 2023

LipDub AI

No início deste ano, a empresa de Bronfman apresentou uma tecnologia chamada LipDub AI, que manipula digitalmente as expressões faciais dos atores para corresponder às palavras faladas em idiomas estrangeiros. A tecnologia promete alcançar um nível extraordinário de realismo e fluência, aprendendo a fazer os lábios dos atores corresponderem ao idioma e aos intérpretes.

O LipDub AI combina a análise de áudio com dados de vídeo para alcançar uma precisa sincronização labial. O resultado é um vídeo onde os movimentos dos lábios coincidem com as palavras faladas na trilha de áudio, proporcionando maior realismo em aplicações como dublagem de filmes, videoconferência e animações de personagens.

Adaptar essa tecnologia em um produto valioso para as indústrias cinematográfica e publicitária apresentou desafios complexos aos pesquisadores. Os diversos elementos da produção cinematográfica, como mudanças na iluminação e nos ângulos de câmera, juntamente com cenas com múltiplos atores ou vários rostos, exigiam um cuidado especial.

Um obstáculo significativo surgiu quando a IA inicialmente não conseguiu diferenciar entre falantes e não falantes. Isso resultou em cenas em que os lábios de cada personagem se moviam em sincronia com uma única linha falada.

“No início, tivemos que colocar caixas pretas sobre os rostos que não queríamos falar”, diz Matt Panousis, cofundador e diretor de operações da MARZ. “Uma coisa é fazer isso em um simples videoclipe. Outra é fazer upload de um filme inteiro.” 

O futuro da IA ​​em Hollywood ainda está sendo determinado. O sindicato SAG-AFTRA e os estúdios de Hollywood estão discutindo o papel da tecnologia nas produções – e a necessidade de consentimento explícito dos atores complicará os acordos necessários para que Lipdub AI e outras tecnologias possam ser utilizadas.

Greve dos atores de Hollywood termina com acordo para ‘proteger os membros da ameaça da IA’

Após 118 dias, a mais longa greve de atores da história de Hollywood chegou ao fim com a ratificação de um novo acordo no valor de um bilhão de dólares, que inclui novas proteções contra a inteligência artificial.

Se a LipDub AI e tecnologias semelhantes prosperarem, poderão expandir o alcance de filmes nacionais e estrangeiros, beneficiando criadores de todo o mundo.

Leia também:

Amazon usa IA para garantir avaliações autênticas dos clientes; saiba como

A inteligência artificial (IA) da Amazon possui capacidade de identificar padrões irregulares nos dados, que podem sugerir que a avaliação de um produto específico é falsa. Saiba mais!

* O texto desta matéria foi parcialmente gerado por ferramentas de inteligência artificial, modelos de linguagem de última geração que auxiliam na elaboração, revisão, tradução e resumos de textos. As entradas de texto foram criadas pela equipe do Curto News e as respostas das ferramentas de IA foram utilizadas para aprimorar o conteúdo final.
É importante destacar que as ferramentas de IA são apenas ferramentas, e a responsabilidade final pelo conteúdo publicado é do Curto News. Ao utilizarmos essas ferramentas de forma responsável e ética, nosso objetivo é ampliar as possibilidades da comunicação e democratizar o acesso à informação de qualidade. 🤖