En Hollywood se pierde mucho dinero en traducción.
Incluso si las empresas invierten en traducciones de guiones de calidad y mejores interpretaciones de los actores de doblaje, el entretenimiento doblado a menudo sigue pareciendo tan cursi como las viejas películas de kung fu. No importa lo bueno que sea el sonido, se siente mal. Los labios no mienten.
PUBLICIDAD
“Los labios son siempre, siempre la última pieza que nadie resuelve”, dice Jonathan Bronfman, cofundador y director ejecutivo de la empresa de efectos visuales Monsters Aliens Robots Zombies (MARZ).
Cómo la IA para el doblaje de labios podría cambiar la industria cinematográfica https://t.co/Db0XAqF52G
— Compañía Rápida (@FastCompany) 19 de noviembre.
LipDub AI
A principios de este año, la empresa de Bronfman introdujo una tecnología llamada LipDub AI, que manipula digitalmente las expresiones faciales de los actores para que coincidan con palabras habladas en idiomas extranjeros. La tecnología promeconsigue un extraordinario nivel de realismo y fluidez, aprendiendo a hacer que los labios de los actores coincidan con el lenguaje y los intérpretes.
O LipDub AI combina análisis de audio con datos de video para lograr una sincronización labial precisa. El resultado es un vídeo donde los movimientos de los labios coinciden con las palabras pronunciadas en la pista de audio, proporcionando mayor realismo en aplicaciones como doblaje de películas, videoconferencias y animaciones de personajes.
PUBLICIDAD
Adaptar esta tecnología a un producto valioso para las industrias cinematográfica y publicitaria planteó a los investigadores retos complejos. Los diversos elementos de la producción cinematográfica, como los cambios de iluminación y ángulos de cámara, junto con las escenas con múltiples actores o múltiples rostros, requirieron un cuidado especial.
Un obstáculo importante surgió cuando la IA inicialmente no logró diferenciar entre hablantes y no hablantes. Esto resultó en escenas en las que los labios de cada personaje se movían sincronizados con una sola línea hablada.
"Al principio, tuvimos que tapar con cajas negras las caras de las que no queríamos hablar", dice Matt Panousis, cofundador y director de operaciones de MARZ. “Una cosa es hacer esto en un simple vídeo musical. Otra es subir una película completa”.
PUBLICIDAD
El futuro de la IA en Hollywood aún está por determinarse. El sindicato SAG-AFTRA y los estudios de Hollywood están discutiendo el papel de la tecnología en las producciones, y la necesidad de un consentimiento explícito de los actores complicará los acuerdos necesarios para Lipdub AI y se pueden utilizar otras tecnologías.
Si en LipDub AI y tecnologías similares prosperan, podría ampliar el alcance de las películas nacionales y extranjeras, beneficiando a creadores de todo el mundo.
Lea también:
* El texto de este artículo fue generado parcialmente por herramientas de inteligencia artificial, modelos de lenguaje de última generación que ayudan en la preparación, revisión, traducción y resumen de textos. Las entradas de texto fueron creadas por el Curto Se utilizaron noticias y respuestas de herramientas de inteligencia artificial para mejorar el contenido final.
Es importante resaltar que las herramientas de IA son sólo herramientas, y la responsabilidad final del contenido publicado recae en el Curto Noticias. Al utilizar estas herramientas de manera responsable y ética, nuestro objetivo es ampliar las posibilidades de comunicación y democratizar el acceso a información de calidad. 🤖
PUBLICIDAD
