I Hollywood går mye penger tapt i oversettelse.
Selv om selskaper investerer i kvalitetsmanusoversettelser og bedre fremføringer fra stemmeskuespillere, ser dubbet underholdning ofte like cheesy ut som gamle kung fu-filmer. Uansett hvor god lyden er, føles den feil. Lepper lyver ikke.
REKLAME
"Leppene er alltid, alltid den siste biten som ingen løser," sier Jonathan Bronfman, medgründer og administrerende direktør for visuelle effektselskapet Monsters Aliens Robots Zombies (MARZ).
Hvordan AI for leppedubbing kan endre filmindustrien https://t.co/Db0XAqF52G
— Fast Company (@FastCompany) November 19, 2023
LipDub AI
Tidligere i år introduserte Bronfmans selskap en teknologi kalt LipDub AI, som digitalt manipulerer skuespillernes ansiktsuttrykk for å matche ord som snakkes på fremmedspråk. Teknologien promeoppnå et ekstraordinært nivå av realisme og flyt, og lære hvordan du får skuespillernes lepper til å matche språket og tolkene.
O LipDub AI kombinerer lydanalyse med videodata for å oppnå presis leppesynkronisering. Resultatet er en video der leppebevegelser matcher ordene som snakkes på lydsporet, og gir større realisme i applikasjoner som filmdubbing, videokonferanser og karakteranimasjoner.
REKLAME
Å tilpasse denne teknologien til et verdifullt produkt for film- og reklamebransjen ga forskerne komplekse utfordringer. De ulike elementene i filmproduksjon, som endringer i lyssetting og kameravinkler, sammen med scener med flere skuespillere eller flere ansikter, krevde spesiell omsorg.
En betydelig hindring oppsto da AI i utgangspunktet ikke klarte å skille mellom høyttalere og ikke-høyttalere. Dette resulterte i scener der hver karakters lepper beveget seg synkronisert med en enkelt talt linje.
"I begynnelsen måtte vi sette svarte bokser over ansiktene vi ikke ønsket å snakke om," sier Matt Panousis, MARZs medgründer og driftssjef. "Det er én ting å gjøre dette i en enkel musikkvideo. En annen er å laste opp en hel film."
REKLAME
Fremtiden til AI i Hollywood blir fortsatt bestemt. SAG-AFTRA-forbundet og Hollywood-studioene diskuterer teknologiens rolle i produksjoner – og behovet for eksplisitt samtykke fra aktører vil komplisere avtalene som trengs for å få det til. Lipdub AI og andre teknologier kan brukes.
Hvis den LipDub AI og lignende teknologier trives, kan det utvide rekkevidden til innenlandske og utenlandske filmer, til fordel for skapere over hele verden.
Les også:
* Teksten til denne artikkelen ble delvis generert av verktøy for kunstig intelligens, toppmoderne språkmodeller som hjelper til med utarbeidelse, gjennomgang, oversettelse og oppsummering av tekster. Tekstoppføringer ble opprettet av Curto Nyheter og svar fra AI-verktøy ble brukt til å forbedre det endelige innholdet.
Det er viktig å fremheve at AI-verktøy bare er verktøy, og det endelige ansvaret for det publiserte innholdet ligger hos Curto Nyheter. Ved å bruke disse verktøyene ansvarlig og etisk, er vårt mål å utvide kommunikasjonsmuligheter og demokratisere tilgang til kvalitetsinformasjon. 🤖
REKLAME
