AI pro dabing rtů by mohla změnit filmový průmysl; vědět jak

V Hollywoodu se v překladu ztrácí hodně peněz.

I když společnosti investují do kvalitních překladů scénářů a lepších výkonů hlasových herců, dabovaná zábava často stále vypadá stejně kýčovitě jako staré kung-fu filmy. Bez ohledu na to, jak dobrý je zvuk, je to špatné. Rty nelžou. 

„Rty jsou vždy, vždy poslední kousek, který nikdo neřeší,“ říká Jonathan Bronfman, spoluzakladatel a generální ředitel společnosti Monsters Aliens Robots Zombies (MARZ).

Jak by umělá inteligence pro dabing rtů mohla změnit filmový průmysl https://t.co/Db0XAqF52G

— Rychlá společnost (@FastCompany) Listopadu 19, 2023

LipDub AI

Začátkem tohoto roku představila společnost Bronfman technologii tzv LipDub AI, který digitálně upravuje výrazy obličeje herců tak, aby odpovídaly slovům mluveným v cizích jazycích. Technologie promedosáhnout mimořádné úrovně realismu a plynulosti a naučit se, jak přizpůsobit rty herců jazyku a tlumočníkům.

O LipDub AI kombinuje audio analýzu s video daty pro dosažení přesné synchronizace rtů. Výsledkem je video, kde pohyby rtů odpovídají slovům vysloveným ve zvukové stopě, což poskytuje větší realismus v aplikacích, jako je filmový dabing, videokonference a animace postav.

Adaptace této technologie na hodnotný produkt pro filmový a reklamní průmysl postavila výzkumníky před složité výzvy. Různé prvky filmové produkce, jako jsou změny osvětlení a úhlů kamery, spolu se scénami s více herci nebo více tvářemi, vyžadovaly zvláštní péči.

Významná překážka nastala, když AI zpočátku nedokázala rozlišit mezi reproduktory a nereproduktory. To vedlo ke scénám, kde se rty každé postavy pohybovaly synchronizovaně s jedním mluveným řádkem.

„Na začátku jsme museli na obličeje, o kterých jsme nechtěli mluvit, umístit černé skříňky,“ říká Matt Panousis, spoluzakladatel a provozní ředitel MARZ. „Jedna věc je udělat to v jednoduchém hudebním videu. Dalším je nahrát celý film.“ 

O budoucnosti umělé inteligence v Hollywoodu se stále rozhoduje. Odborový svaz SAG-AFTRA a hollywoodská studia diskutují o roli technologie v produkci – a potřeba výslovného souhlasu herců zkomplikuje dohody potřebné k jejímu uskutečnění. Lipdub AI a lze použít další technologie.

Stávka hollywoodských herců končí dohodou o „ochraně členů před hrozbou AI“

Po 118 dnech skončila nejdelší stávka herců v historii Hollywoodu ratifikací nové miliardové dohody, která zahrnuje nové ochrany proti umělé inteligenci.

Pokud LipDub AI a podobným technologiím se daří, mohl by rozšířit záběr domácích i zahraničních filmů, z čehož profitují tvůrci po celém světě.

Čtěte také:

Amazon používá AI k zajištění autentických recenzí zákazníků; vědět jak

Umělá inteligence (AI) Amazonu má schopnost identifikovat nepravidelné vzory v datech, které mohou naznačovat, že konkrétní recenze produktu je nepravdivá. Vědět více!

* Text tohoto článku byl částečně generován nástroji umělé inteligence, nejmodernějšími jazykovými modely, které pomáhají při přípravě, kontrole, překladu a sumarizaci textů. Textové položky byly vytvořeny Curto Ke zlepšení konečného obsahu byly použity novinky a odpovědi z nástrojů AI.
Je důležité zdůraznit, že nástroje AI jsou pouze nástroje a konečnou odpovědnost za publikovaný obsah nese společnost Curto Zprávy. Odpovědným a etickým používáním těchto nástrojů je naším cílem rozšířit možnosti komunikace a demokratizovat přístup ke kvalitním informacím. 🤖