Sztuczna inteligencja do dubbingu warg może zmienić branżę filmową; wiedzieć jak

W Hollywood na tłumaczeniach traci się mnóstwo pieniędzy.

Nawet jeśli firmy inwestują w wysokiej jakości tłumaczenia scenariuszy i lepsze występy aktorów głosowych, dubbingowana rozrywka często nadal wygląda tak tandetnie jak stare filmy o kung fu. Bez względu na to, jak dobry jest dźwięk, wydaje się to niewłaściwe. Usta nie kłamią. 

„Usta są zawsze, zawsze ostatnim elementem, którego nikt nie rozwiązuje” – mówi Jonathan Bronfman, współzałożyciel i dyrektor generalny firmy zajmującej się efektami wizualnymi Monsters Aliens Robots Zombies (MARZ).

Jak sztuczna inteligencja do dubbingu warg może zmienić przemysł filmowy https://t.co/Db0XAqF52G

— Szybka firma (@FastCompany) Listopad 19, 2023

Sztuczna inteligencja LipDuba

Na początku tego roku firma Bronfmana wprowadziła technologię tzw Sztuczna inteligencja LipDuba, który cyfrowo manipuluje mimiką aktorów, aby dopasować je do słów wypowiadanych w językach obcych. Technologia promeosiągnąć niezwykły poziom realizmu i płynności, ucząc się, jak dopasować usta aktorów do języka i interpretatorów.

O Sztuczna inteligencja LipDuba łączy analizę dźwięku z danymi wideo, aby uzyskać precyzyjną synchronizację ruchu warg. Rezultatem jest wideo, w którym ruchy warg odpowiadają słowom wypowiadanym na ścieżce dźwiękowej, zapewniając większy realizm w zastosowaniach takich jak dubbing filmowy, wideokonferencje i animacje postaci.

Zaadaptowanie tej technologii do wartościowego produktu dla branży filmowej i reklamowej postawiło badaczy przed złożonymi wyzwaniami. Szczególnej uwagi wymagały różne elementy produkcji filmowej, takie jak zmiany oświetlenia i kąta kamery, a także sceny z wieloma aktorami i wieloma twarzami.

Istotna przeszkoda pojawiła się, gdy sztuczna inteligencja początkowo nie potrafiła rozróżnić osób mówiących i niemówiących. W rezultacie powstały sceny, w których usta każdej postaci poruszały się w synchronizacji z pojedynczą wypowiadaną linią.

„Na początku musieliśmy przyklejać czarne skrzynki do twarzy, o których nie chcieliśmy rozmawiać” – mówi Matt Panousis, współzałożyciel i dyrektor operacyjny MARZ. „Zrobić to w prostym teledysku to jedno. Innym rozwiązaniem jest przesłanie całego filmu”. 

Przyszłość sztucznej inteligencji w Hollywood wciąż jest niepewna. Związek SAG-AFTRA i hollywoodzkie studia omawiają rolę technologii w produkcjach, a potrzeba wyraźnej zgody aktorów skomplikuje porozumienia niezbędne do realizacji tego celu. Lipdubowa sztuczna inteligencja można zastosować inne technologie.

Strajk hollywoodzkich aktorów kończy się porozumieniem w sprawie „ochrony członków przed zagrożeniem AI”

Po 118 dniach najdłuższy strajk aktorów w historii Hollywood dobiegł końca wraz z ratyfikacją nowej umowy wartej miliardy dolarów, która obejmuje nowe zabezpieczenia przed sztuczną inteligencją.

Być Sztuczna inteligencja LipDuba i podobne technologie prosperują, mogłoby to poszerzyć zasięg filmów krajowych i zagranicznych, z korzyścią dla twórców na całym świecie.

Przeczytaj także:

Amazon wykorzystuje sztuczną inteligencję, aby zapewnić autentyczne recenzje klientów; wiedzieć jak

Sztuczna inteligencja (AI) Amazona potrafi identyfikować nieregularne wzorce w danych, które mogą sugerować, że recenzja konkretnego produktu jest fałszywa. Wiedzieć więcej!

* Tekst tego artykułu został częściowo wygenerowany przez narzędzia sztucznej inteligencji, najnowocześniejsze modele językowe, które pomagają w przygotowaniu, recenzowaniu, tłumaczeniu i podsumowywaniu tekstów. Wpisy tekstowe zostały utworzone przez Curto Do ulepszenia ostatecznej treści wykorzystano wiadomości i odpowiedzi z narzędzi AI.
Należy podkreślić, że narzędzia AI to tylko narzędzia i ostateczna odpowiedzialność za publikowane treści spoczywa na nich Curto Aktualności. Korzystając z tych narzędzi w sposób odpowiedzialny i etyczny, naszym celem jest poszerzenie możliwości komunikacji i demokratyzacja dostępu do wysokiej jakości informacji. 🤖