AI til lip dubbing kan ændre filmindustrien; vide hvordan

I Hollywood går der mange penge tabt i oversættelse.

Selvom virksomheder investerer i kvalitetsmanuskriptoversættelser og bedre præstationer fra stemmeskuespillere, ser eftersynkroniseret underholdning ofte stadig lige så cheesy ud som gamle kung fu-film. Uanset hvor god lyden er, føles den forkert. Læber lyver ikke. 

"Læberne er altid, altid den sidste brik, som ingen løser," siger Jonathan Bronfman, medstifter og administrerende direktør for visuelle effektfirmaet Monsters Aliens Robots Zombies (MARZ).

Hvordan AI til lip dubbing kunne ændre filmindustrien https://t.co/Db0XAqF52G

— Fast Company (@FastCompany) November 19, 2023

LipDub AI

Tidligere i år introducerede Bronfmans firma en teknologi kaldet LipDub AI, som digitalt manipulerer skuespillernes ansigtsudtryk, så de matcher ord, der tales på fremmedsprog. Teknologien promeopnå et ekstraordinært niveau af realisme og flydende ved at lære at få skuespillernes læber til at matche sproget og tolkene.

O LipDub AI kombinerer lydanalyse med videodata for at opnå præcis læbesynkronisering. Resultatet er en video, hvor læbebevægelser matcher de ord, der bliver sagt på lydsporet, hvilket giver større realisme i applikationer som filmoverspilning, videokonferencer og karakteranimationer.

At tilpasse denne teknologi til et værdifuldt produkt for film- og reklameindustrien stillede forskerne over for komplekse udfordringer. De forskellige elementer i filmproduktion, såsom ændringer i belysning og kameravinkler, sammen med scener med flere skuespillere eller flere ansigter, krævede særlig omhu.

En væsentlig hindring opstod, da AI’en i første omgang ikke formåede at skelne mellem højttalere og ikke-højttalere. Dette resulterede i scener, hvor hver karakters læber bevægede sig synkroniseret med en enkelt talt linje.

"I begyndelsen var vi nødt til at sætte sorte bokse over de ansigter, vi ikke ville tale om," siger Matt Panousis, MARZs medstifter og driftschef. "Det er én ting at gøre dette i en simpel musikvideo. En anden er at uploade en hel film." 

Fremtiden for kunstig intelligens i Hollywood er stadig ved at blive bestemt. Fagforeningen SAG-AFTRA og Hollywood-studierne diskuterer teknologiens rolle i produktioner - og behovet for eksplicit samtykke fra aktører vil komplicere de aftaler, der er nødvendige for at få det til at ske. Lipdub AI og andre teknologier kan bruges.

Hollywood-skuespilleres strejke ender med enighed om at 'beskytte medlemmer mod AI-truslen'

Efter 118 dage er den længste skuespillerstrejke i Hollywoods historie afsluttet med ratificeringen af ​​en ny milliard-dollar-aftale, der inkluderer nye beskyttelser mod kunstig intelligens.

Hvis LipDub AI og lignende teknologier trives, kan det udvide rækkevidden af ​​indenlandske og udenlandske film til gavn for skabere over hele verden.

Læs også:

Amazon bruger kunstig intelligens til at sikre autentiske kundeanmeldelser; vide hvordan

Amazons kunstige intelligens (AI) har evnen til at identificere uregelmæssige mønstre i data, der kan tyde på, at en specifik produktanmeldelse er falsk. Få mere at vide!

* Teksten i denne artikel er delvist genereret af kunstig intelligensværktøjer, avancerede sprogmodeller, der hjælper med at forberede, gennemgå, oversætte og sammenfatte tekster. Tekstindtastninger blev oprettet af Curto Nyheder og svar fra AI-værktøjer blev brugt til at forbedre det endelige indhold.
Det er vigtigt at fremhæve, at AI-værktøjer kun er værktøjer, og det endelige ansvar for det offentliggjorte indhold ligger hos Curto Nyheder. Ved at bruge disse værktøjer ansvarligt og etisk er vores mål at udvide kommunikationsmulighederne og demokratisere adgangen til kvalitetsinformation. 🤖