AI за дублаж на устни може да промени филмовата индустрия; знаеш как

В Холивуд се губят много пари за превод.

Дори ако компаниите инвестират в качествени преводи на сценарии и по-добри изпълнения от гласови актьори, дублираните развлечения често все още изглеждат толкова скъпи, колкото стари кунг-фу филми. Без значение колко добър е звукът, усещането е грешно. Устните не лъжат. 

„Устните винаги, винаги са последното парче, което никой не решава“, казва Джонатан Бронфман, съосновател и главен изпълнителен директор на компанията за визуални ефекти Monsters Aliens Robots Zombies (MARZ).

Как AI за дублаж на устни може да промени филмовата индустрия https://t.co/Db0XAqF52G

— Fast Company (@FastCompany) Ноември 19, 2023

LipDub AI

По-рано тази година компанията на Бронфман представи технология, наречена LipDub AI, който дигитално манипулира израженията на лицата на актьорите, за да съответства на думите, изречени на чужди езици. Технологията promeпостигнете изключително ниво на реализъм и плавност, като се научите как да накарате устните на актьорите да съответстват на езика и преводачите.

O LipDub AI комбинира аудио анализ с видео данни, за да постигне прецизно синхронизиране на устните. Резултатът е видеоклип, при който движенията на устните съвпадат с думите, изречени на аудиозаписа, осигурявайки по-голям реализъм в приложения като дублаж на филми, видеоконференции и анимации на герои.

Адаптирането на тази технология в ценен продукт за филмовата и рекламната индустрия постави изследователите пред сложни предизвикателства. Различните елементи на филмовата продукция, като промени в осветлението и ъглите на камерата, заедно със сцени с множество актьори или множество лица, изискваха специални грижи.

Възникна значителна пречка, когато изкуственият интелект първоначално не успя да направи разлика между говорещи и неговорещи. Това доведе до сцени, в които устните на всеки герой се движеха в синхрон с една изречена реплика.

„В началото трябваше да поставим черни кутии върху лицата, за които не искахме да говорим“, казва Мат Панусис, съосновател на MARZ и главен оперативен директор. „Едно е да направиш това в прост музикален видеоклип. Друг е да качите цял филм. 

Бъдещето на AI в Холивуд все още се определя. Синдикатът SAG-AFTRA и холивудските студия обсъждат ролята на технологията в продукциите – и необходимостта от изрично съгласие от актьорите ще усложни споразуменията, необходими за Lipdub AI и могат да се използват други технологии.

Стачката на холивудските актьори приключва със споразумение за „защита на членовете от заплаха от AI“

След 118 дни най-дългата актьорска стачка в историята на Холивуд приключи с ратифицирането на нова сделка за милиарди долари, която включва нови защити срещу изкуствения интелект.

Вижте a LipDub AI и подобни технологии процъфтяват, това може да разшири обхвата на местни и чуждестранни филми, облагодетелствайки създателите по целия свят.

Прочетете също така:

Amazon използва AI, за да осигури автентични клиентски отзиви; знаеш как

Изкуственият интелект (AI) на Amazon има способността да идентифицира нередовни модели в данните, които могат да подскажат, че прегледът на конкретен продукт е неверен. Знам повече!

* Текстът на тази статия е частично генериран от инструменти за изкуствен интелект, най-съвременни езикови модели, които подпомагат подготовката, прегледа, превода и резюмирането на текстове. Текстовите записи са създадени от Curto Новини и отговори от AI инструменти бяха използвани за подобряване на крайното съдържание.
Важно е да се подчертае, че AI инструментите са само инструменти и крайната отговорност за публикуваното съдържание се носи от Curto Новини. Като използваме тези инструменти отговорно и етично, нашата цел е да разширим възможностите за комуникация и да демократизираме достъпа до качествена информация. 🤖