人工智能口型配音可能会改变电影业;知识

LipDub AI 等新型人工智能 (AI) 配音工具可以扩大国内外电影的影响力。了解更多!

在好莱坞,翻译损失了很多钱。

即使公司投资于高质量的剧本翻译和配音演员更好的表演,配音娱乐通常看起来仍然像老功夫电影一样俗气。不管声音多好,总感觉不对劲。嘴唇不会说谎。 

宣传

“嘴唇永远是无人能解决的最后一块,”视觉特效公司 Monsters Aliens Robots Zombies (MARZ) 的联合创始人兼首席执行官乔纳森·布朗夫曼 (Jonathan Bronfman) 说道。

唇音AI

今年早些时候,布朗夫曼的公司推出了一项名为 唇音AI,它以数字方式操纵演员的面部表情以匹配外语所说的单词。技术 prome通过学习如何使演员的嘴唇与语言和口译员相匹配,达到非凡的真实性和流畅性。

O 唇音AI 将音频分析与视频数据相结合,实现精确的口型同步。其结果是视频中嘴唇的动作与音轨上所说的单词相匹配,从而在电影配音、视频会议和角色动画等应用中提供更大的真实感。

宣传

将这项技术应用于电影和广告行业的有价值的产品给研究人员带来了复杂的挑战。电影制作的各种元素,例如灯光和摄像机角度的变化,以及具有多个演员或多张面孔的场景,都需要特别小心。

当人工智能最初无法区分说话者和非说话者时,出现了一个重大障碍。这导致了每个角色的嘴唇与一句台词同步移动的场景。

“一开始,我们不得不把黑匣子放在我们不想谈论的面孔上,”MARZ 联合创始人兼首席运营官马特·帕诺西斯 (Matt Panousis) 说。 “在简单的音乐视频中做到这一点是一回事。另一种方法是上传整部电影。” 

宣传

人工智能在好莱坞的未来仍待确定。美国演员工会和好莱坞电影制片厂正在讨论技术在制作中的作用,而演员明确同意的必要性将使拍摄所需的协议变得复杂化。 唇语人工智能 以及可以使用其他技术。

唇音AI 如果类似技术蓬勃发展,它可以扩大国内外电影的影响力,使世界各地的创作者受益。

阅读:

* 本文的文本部分由人工智能工具和最先进的语言模型生成,有助于文本的准备、审阅、翻译和摘要。文本条目是由 Curto 来自人工智能工具的新闻和回复被用来改进最终内容。
需要强调的是,人工智能工具只是工具,发布内容的最终责任在于 Curto 消息。通过负责任且合乎道德的方式使用这些工具,我们的目标是扩大沟通的可能性并使优质信息的获取民主化。
🤖

宣传

向上滑动