口唇吹き替え用の AI は映画業界を変える可能性があります。知っている

LipDub AI のような吹き替え用の新しい人工知能 (AI) ツールは、国内外の映画の範囲を拡大する可能性があります。もっと知ってください!

ハリウッドでは、翻訳に多額のお金が失われています。

たとえ企業が質の高い脚本の翻訳や声優のより良い演技に投資したとしても、吹き替えエンターテイメントは依然として古いカンフー映画と同じくらい安っぽく見えることがよくあります。どんなに良い音でも違和感があります。唇は嘘をつきません。 

宣伝

「唇はいつも、誰も解決できない最後のピースです」と視覚効果会社モンスターズ・エイリアンズ・ロボットズ・ゾンビーズ(MARZ)の共同創設者兼最高経営責任者(CEO)のジョナサン・ブロンフマン氏は言う。

リップダブAI

今年初め、ブロンフマン氏の会社は、と呼ばれるテクノロジーを導入した。 リップダブAI、外国語で話された言葉に合わせて俳優の表情をデジタル操作します。テクノロジー prome俳優の唇を言語や通訳と一致させる方法を学ぶことで、並外れたレベルのリアリズムと流暢さを実現します。

O リップダブAI オーディオ分析とビデオデータを組み合わせて、正確なリップシンクを実現します。その結果、唇の動きがオーディオ トラックで話された言葉と一致するビデオが作成され、映画の吹き替え、ビデオ会議、キャラクター アニメーションなどのアプリケーションでリアリズムが向上します。

宣伝

このテクノロジーを映画業界や広告業界にとって価値のある製品に適応させることは、研究者にとって複雑な課題に直面しました。照明やカメラアングルの変更、複数の俳優や複数の顔が登場するシーンなど、映画制作のさまざまな要素には特別な注意が必要でした。

AI が最初に話者と非話者を区別できなかったときに、重大な障害が発生しました。その結果、各キャラクターの唇が 1 つのセリフに同期して動くシーンが生まれました。

「当初は、話したくない顔にブラックボックスを適用する必要がありました」と MARZ の共同創設者兼最高執行責任者であるマット パヌーシス氏は言います。 「これをシンプルなミュージックビデオで行うのは一つのことです。もう 1 つは、映画全体をアップロードすることです。」 

宣伝

ハリウッドにおける AI の将来はまだ決定されていません。 SAG-AFTRA組合とハリウッドスタジオは、制作におけるテクノロジーの役割について議論しているが、俳優からの明示的な同意が必要なため、それを実現するために必要な合意が複雑になるだろう。 リプダブAI などのテクノロジーを使用できます。

ありなさい リップダブAI 同様のテクノロジーが普及すれば、国内外の映画のリーチが拡大し、世界中のクリエイターに利益をもたらす可能性があります。

また、お読みください。

* この記事のテキストの一部は、テキストの準備、レビュー、翻訳、要約を支援する最先端の言語モデルである人工知能ツールによって生成されました。テキストエントリは、 Curto AI ツールからのニュースと応答は、最終的なコンテンツを改善するために使用されました。
AI ツールは単なるツールであり、公開されたコンテンツに対する最終的な責任は AI ツールにあることを強調することが重要です。 Curto ニュース。これらのツールを責任を持って倫理的に使用することで、コミュニケーションの可能性を拡大し、質の高い情報へのアクセスを民主化することが私たちの目的です。
🤖

宣伝

スクロールアップする