人工智慧口型配音可能會改變電影產業;知識

LipDub AI 等新型人工智慧 (AI) 配音工具可擴大國內外電影的影響力。了解更多!

在好萊塢,翻譯損失了很多錢。

即使公司投資於高品質的劇本翻譯和配音演員更好的表演,配音娛樂通常看起來仍然像老功夫電影一樣俗氣。不管聲音多好,總覺得不對勁。嘴唇不會說謊。 

宣傳

「嘴唇永遠是無人能解決的最後一塊,」視覺特效公司 Monsters Aliens Robots Zombies (MARZ) 的聯合創始人兼首席執行官喬納森·布朗夫曼 (Jonathan Bronfman) 說道。

唇音AI

今年早些時候,布朗夫曼的公司推出了一項名為“ 唇音AI,它以數字方式操縱演員的面部表情以匹配外語所說的單字。科技 prome透過學習如何使演員的嘴唇與語言和口譯員相匹配,達到非凡的真實感和流暢度。

O 唇音AI 將音訊分析與視訊資料結合,實現精確的口型同步。結果是影片中嘴唇的動作與音軌上所說的單字相匹配,從而在電影配音、視訊會議和角色動畫等應用中提供更大的真實感。

宣傳

將這項技術應用於電影和廣告行業的有價值的產品給研究人員帶來了複雜的挑戰。電影製作的各種要素,例如燈光和攝影機角度的變化,以及具有多個演員或多張臉的場景,都需要特別小心。

當人工智慧最初無法區分說話者和非說話者時,出現了一個重大障礙。這導致了每個角色的嘴唇與一句台詞同步移動的場景。

「一開始,我們不得不把黑盒子放在我們不想談論的面孔上,」MARZ 聯合創始人兼首席營運長 Matt Panousis 說。 「在簡單的音樂影片中做到這一點是一回事。另一種方法是上傳整部電影。” 

宣傳

人工智慧在好萊塢的未來仍有待確定。美國演員工會和好萊塢電影製片廠正在討論技術在製作中的作用,而演員明確同意的必要性將使實現這一目標所需的協議變得複雜。 唇語人工智慧 以及可以使用其他技術。

唇音AI 如果類似技術蓬勃發展,它可以擴大國內外電影的影響力,使世界各地的創作者受益。

閱讀:

* 本文的文本部分由人工智慧工具和最先進的語言模型生成,有助於文本的準備、審查、翻譯和摘要。文字條目是由 Curto 來自人工智慧工具的新聞和回應被用來改善最終內容。
需要強調的是,人工智慧工具只是工具,發佈內容的最終責任在於 Curto 消息。透過負責任且合乎道德的方式使用這些工具,我們的目標是擴大溝通的可能性並使優質資訊的獲取民主化。
🤖

宣傳

向上滑動