ШІ для дубляжу з уст може змінити кіноіндустрію; ноу-хау

У Голлівуді багато грошей втрачаються на переклад.

Навіть якщо компанії інвестують у якісні переклади сценаріїв і кращу гру акторів, дубльовані розваги часто виглядають такими ж крутими, як старі фільми про кунг-фу. Незалежно від того, наскільки хороший звук, він відчувається неправильно. Губи не брешуть. 

«Губи завжди, завжди остання частина, яку ніхто не розв’язує», — каже Джонатан Бронфман, співзасновник і генеральний директор компанії з візуальних ефектів Monsters Aliens Robots Zombies (MARZ).

Як штучний інтелект для озвучування може змінити кіноіндустрію https://t.co/Db0XAqF52G

— Fast Company (@FastCompany) Листопад 19, 2023

LipDub AI

На початку цього року компанія Бронфмана представила технологію під назвою LipDub AI, який цифровим способом маніпулює виразом обличчя акторів, щоб відповідати словам, вимовленим іноземними мовами. Технологія promeдосягти надзвичайного рівня реалізму та вільного мовлення, навчившись, як зробити так, щоб губи акторів відповідали мові та перекладачам.

O LipDub AI поєднує аналіз аудіо з відеоданими для досягнення точної синхронізації губ. Результатом є відео, де рухи губ відповідають словам, вимовленим на аудіодоріжці, що забезпечує більшу реалістичність у таких програмах, як дубляж фільмів, відеоконференції та анімація персонажів.

Адаптація цієї технології до цінного продукту для кіно та рекламної індустрії поставила дослідників перед складними проблемами. Різні елементи кіновиробництва, такі як зміна освітлення та ракурсів камери, а також сцени з кількома акторами чи кількома обличчями, потребували особливого догляду.

Значна перешкода виникла, коли штучний інтелект спочатку не зміг відрізнити мовців від тих, хто не говорить. Це призвело до сцен, де губи кожного персонажа рухалися синхронно з однією промовленою реплікою.

«Спочатку нам доводилося розміщувати чорні ящики над обличчями, про які ми не хотіли говорити», — каже Мет Панузіс, співзасновник MARZ і головний операційний директор. «Одна справа зробити це в простому музичному відео. Інший — завантажити цілий фільм». 

Майбутнє ШІ в Голлівуді все ще визначається. Профспілка SAG-AFTRA та голлівудські студії обговорюють роль технологій у постановках – і необхідність чіткої згоди акторів ускладнить угоди, необхідні для того, щоб це сталося. Ліпдуб А.І і інші технології можуть бути використані.

Страйк голлівудських акторів закінчився домовленістю про «захист учасників від загрози ШІ»

Після 118 днів найдовший страйк актора в історії Голлівуду завершився ратифікацією нової угоди на мільярд доларів, яка включає новий захист від штучного інтелекту.

Якщо LipDub AI і подібні технології процвітають, це може розширити охоплення вітчизняних і іноземних фільмів, приносячи користь творцям у всьому світі.

Читайте також:

Amazon використовує штучний інтелект, щоб гарантувати справжні відгуки клієнтів; ноу-хау

Штучний інтелект (ШІ) Amazon має здатність виявляти нерегулярні закономірності в даних, які можуть свідчити про те, що відгук про певний продукт є помилковим. Знай більше!

* Текст цієї статті частково створено за допомогою засобів штучного інтелекту, найсучасніших мовних моделей, які допомагають у підготовці, перегляді, перекладі та конспектуванні текстів. Текстові записи були створені Curto Новини та відповіді від інструментів штучного інтелекту були використані для покращення кінцевого вмісту.
Важливо підкреслити, що інструменти штучного інтелекту – це лише інструменти, і остаточна відповідальність за опублікований контент лежить на Curto Новини. Використовуючи ці інструменти відповідально та етично, наша мета полягає в тому, щоб розширити комунікаційні можливості та демократизувати доступ до якісної інформації. 🤖