L’intelligenza artificiale per il doppiaggio labiale potrebbe cambiare l’industria cinematografica; competenza

A Hollywood si perdono molti soldi nella traduzione.

Anche se le aziende investono in traduzioni di sceneggiature di qualità e in performance migliori da parte dei doppiatori, l’intrattenimento doppiato spesso sembra ancora scadente come i vecchi film di kung fu. Non importa quanto sia bello il suono, sembra sbagliato. Le labbra non mentono. 

"Le labbra sono sempre, sempre l'ultimo pezzo che nessuno risolve", afferma Jonathan Bronfman, co-fondatore e CEO della società di effetti visivi Monsters Aliens Robots Zombies (MARZ).

LipDub AI

All'inizio di quest'anno, la società di Bronfman ha introdotto una tecnologia chiamata LipDub AI, che manipola digitalmente le espressioni facciali degli attori per corrispondere alle parole pronunciate in lingue straniere. La tecnologia promeraggiungere uno straordinario livello di realismo e fluidità, imparando a far combaciare le labbra degli attori con la lingua e gli interpreti.

O LipDub AI combina l'analisi audio con i dati video per ottenere una sincronizzazione labiale precisa. Il risultato è un video in cui i movimenti delle labbra corrispondono alle parole pronunciate nella traccia audio, fornendo maggiore realismo in applicazioni come doppiaggio cinematografico, videoconferenze e animazioni di personaggi.

L'adattamento di questa tecnologia in un prodotto prezioso per l'industria cinematografica e pubblicitaria ha posto i ricercatori di fronte a sfide complesse. I vari elementi della produzione cinematografica, come i cambiamenti nell'illuminazione e negli angoli di ripresa, insieme alle scene con più attori o più volti, richiedevano un'attenzione particolare.

Un ostacolo significativo è sorto quando l’intelligenza artificiale inizialmente non è riuscita a distinguere tra parlanti e non parlanti. Ciò ha portato a scene in cui le labbra di ogni personaggio si muovevano in sincronia con una singola linea parlata.

"All'inizio, dovevamo mettere delle scatole nere sui volti di cui non volevamo parlare", afferma Matt Panousis, cofondatore e direttore operativo di MARZ. “Una cosa è farlo in un semplice video musicale. Un altro è caricare un intero film. 

Il futuro dell’intelligenza artificiale a Hollywood è ancora in fase di definizione. Il sindacato SAG-AFTRA e gli studios di Hollywood stanno discutendo del ruolo della tecnologia nelle produzioni – e la necessità del consenso esplicito degli attori complicherà gli accordi necessari per Lipdub AI e altre tecnologie possono essere utilizzate.

Se il LipDub AI e tecnologie simili prosperano, potrebbe espandere la portata dei film nazionali e stranieri, avvantaggiando i creatori di tutto il mondo.

Leggi anche: