AI för läppdubbning kan förändra filmindustrin; veta hur

I Hollywood går mycket pengar förlorade i översättning.

Även om företag investerar i kvalitativa manusöversättningar och bättre prestationer från röstskådespelare, ser dubbad underhållning ofta fortfarande lika cheesy ut som gamla kung fu-filmer. Hur bra ljudet än är så känns det fel. Läppar ljuger inte. 

"Läpparna är alltid, alltid den sista biten som ingen löser", säger Jonathan Bronfman, medgrundare och VD för visuella effektföretaget Monsters Aliens Robots Zombies (MARZ).

Hur AI för läppdubbning kan förändra filmindustrin https://t.co/Db0XAqF52G

— Fast Company (@FastCompany) November 19, 2023

LipDub AI

Tidigare i år introducerade Bronfmans företag en teknik som heter LipDub AI, som digitalt manipulerar skådespelares ansiktsuttryck för att matcha ord som talas på främmande språk. Teknologin promeuppnå en extraordinär nivå av realism och flyt, lära sig hur man får skådespelarnas läppar att matcha språket och tolkarna.

O LipDub AI kombinerar ljudanalys med videodata för att uppnå exakt läppsynkronisering. Resultatet är en video där läpprörelser matchar orden som talas på ljudspåret, vilket ger större realism i applikationer som filmdubbning, videokonferenser och karaktärsanimationer.

Att anpassa denna teknik till en värdefull produkt för film- och reklambranschen ställde forskare inför komplexa utmaningar. De olika delarna av filmproduktion, såsom förändringar i ljussättning och kameravinklar, tillsammans med scener med flera skådespelare eller flera ansikten, krävde särskild omsorg.

Ett betydande hinder uppstod när AI:n initialt misslyckades med att skilja mellan högtalare och icke-högtalare. Detta resulterade i scener där varje karaktärs läppar rörde sig synkroniserat med en enda talad rad.

"I början var vi tvungna att sätta svarta lådor över ansiktena som vi inte ville prata om", säger Matt Panousis, MARZs medgrundare och operativa chef. "Det är en sak att göra det här i en enkel musikvideo. En annan är att ladda upp en hel film.” 

Framtiden för AI i Hollywood bestäms fortfarande. SAG-AFTRA-facket och Hollywood-studios diskuterar teknologins roll i produktioner – och behovet av uttryckligt samtycke från aktörer kommer att komplicera de avtal som behövs för att få det att hända. Lipdub AI och andra tekniker kan användas.

Hollywood-skådespelares strejk slutar med en överenskommelse om att "skydda medlemmar från AI-hot"

Efter 118 dagar har den längsta skådespelarstrejken i Hollywoods historia kommit till ett slut med ratificeringen av en ny miljardaffär som inkluderar nya skydd mot artificiell intelligens.

Vara LipDub AI och liknande teknologier frodas, kan det utöka räckvidden för inhemska och utländska filmer, vilket gynnar kreatörer runt om i världen.

Läs också:

Amazon använder AI för att säkerställa autentiska kundrecensioner; veta hur

Amazons artificiella intelligens (AI) har förmågan att identifiera oregelbundna mönster i data som kan tyda på att en specifik produktrecension är falsk. Veta mer!

* Texten i den här artikeln genererades delvis av verktyg för artificiell intelligens, toppmoderna språkmodeller som hjälper till att förbereda, granska, översätta och sammanfatta texter. Textposter skapades av Curto Nyheter och svar från AI-verktyg användes för att förbättra det slutliga innehållet.
Det är viktigt att betona att AI-verktyg bara är verktyg, och det slutliga ansvaret för det publicerade innehållet ligger hos Curto Nyheter. Genom att använda dessa verktyg på ett ansvarsfullt och etiskt sätt är vårt mål att utöka kommunikationsmöjligheterna och demokratisera tillgången till kvalitetsinformation. 🤖