ИИ для дубляжа по губам может изменить киноиндустрию; секрет производства

В Голливуде на переводах теряется много денег.

Даже если компании инвестируют в качественные переводы сценариев и лучшую игру актеров озвучки, дублированные развлечения часто выглядят так же банально, как старые фильмы о кунг-фу. Каким бы хорошим ни был звук, он кажется неправильным. Губы не лгут. 

«Губы всегда, всегда являются последней деталью, которую никто не решает», — говорит Джонатан Бронфман, соучредитель и генеральный директор компании по визуальным эффектам Monsters Aliens Robots Zombies (MARZ).

Как ИИ для дубляжа по губам может изменить киноиндустрию https://t.co/Db0XAqF52G

— Быстрая Компания (@FastCompany) 19 ноября 2023

ЛипДаб ИИ

Ранее в этом году компания Бронфмана представила технологию под названием ЛипДаб ИИ, который с помощью цифровых технологий манипулирует выражениями лиц актеров, чтобы они соответствовали словам, произнесенным на иностранных языках. Технология promeДостигните необычайного уровня реализма и беглости, научившись приводить губы актеров в соответствие с языком и переводчиками.

O ЛипДаб ИИ сочетает анализ звука с видеоданными для достижения точной синхронизации губ. В результате получается видео, в котором движения губ соответствуют словам, произнесенным на звуковой дорожке, что обеспечивает большую реалистичность в таких приложениях, как дубляж фильмов, видеоконференции и анимация персонажей.

Превращение этой технологии в ценный продукт для кино- и рекламной индустрии поставило перед исследователями сложные задачи. Различные элементы кинопроизводства, такие как изменение освещения и ракурсов, а также сцены с несколькими актерами или несколькими лицами, требовали особого внимания.

Серьезное препятствие возникло, когда ИИ изначально не мог различать говорящих и не говорящих. В результате появились сцены, в которых губы каждого персонажа двигались синхронно с одной произнесенной фразой.

«Вначале нам приходилось помещать черные ящики на лица, о которых мы не хотели говорить», — говорит Мэтт Панусис, соучредитель и главный операционный директор MARZ. «Одно дело сделать это в простом музыкальном клипе. Другой вариант — загрузить весь фильм». 

Будущее искусственного интеллекта в Голливуде все еще определяется. Профсоюз SAG-AFTRA и голливудские студии обсуждают роль технологий в производстве, и необходимость явного согласия актеров усложнит соглашения, необходимые для этого. Липдаб AI и другие технологии могут быть использованы.

Забастовка голливудских актеров завершилась соглашением «защитить участников от угрозы искусственного интеллекта»

Спустя 118 дней самая продолжительная забастовка актеров в истории Голливуда завершилась ратификацией нового соглашения на миллиард долларов, которое включает новые меры защиты от искусственного интеллекта.

Se a ЛипДаб ИИ и подобные технологии процветают, это может расширить охват отечественных и зарубежных фильмов, принося пользу создателям по всему миру.

Читайте также:

Amazon использует искусственный интеллект для обеспечения достоверности отзывов клиентов; секрет производства

Искусственный интеллект (ИИ) Amazon способен выявлять нерегулярные закономерности в данных, которые могут указывать на то, что конкретный обзор продукта является ложным. Узнать больше!

* Текст этой статьи частично создан с помощью инструментов искусственного интеллекта, современных языковых моделей, которые помогают в подготовке, просмотре, переводе и обобщении текстов. Текстовые записи были созданы пользователем Curto Новости и ответы инструментов искусственного интеллекта использовались для улучшения конечного контента.
Важно подчеркнуть, что инструменты ИИ — это всего лишь инструменты, и окончательная ответственность за опубликованный контент лежит на Curto Новости. Используя эти инструменты ответственно и этично, наша цель — расширить возможности коммуникации и демократизировать доступ к качественной информации. 🤖