AI untuk sulih suara bibir dapat mengubah industri film; tahu caranya

Di Hollywood, banyak uang yang hilang dalam penerjemahan.

Sekalipun perusahaan berinvestasi dalam terjemahan naskah berkualitas dan penampilan pengisi suara yang lebih baik, hiburan yang disulihsuarakan sering kali masih terlihat murahan seperti film kungfu lama. Tidak peduli seberapa bagus suaranya, rasanya salah. Bibir tidak berbohong. 

“Bibir selalu menjadi bagian terakhir yang tidak dapat dipecahkan oleh siapa pun,” kata Jonathan Bronfman, salah satu pendiri dan CEO perusahaan efek visual Monsters Aliens Robots Zombies (MARZ).

Bagaimana AI untuk sulih suara bibir dapat mengubah industri film https://t.co/Db0XAqF52G

— Perusahaan Cepat (@Perusahaan Cepat) November 19, 2023

LipDub AI

Awal tahun ini, perusahaan Bronfman memperkenalkan teknologi yang disebut LipDub AI, yang secara digital memanipulasi ekspresi wajah aktor agar sesuai dengan kata-kata yang diucapkan dalam bahasa asing. Teknologi promemencapai tingkat realisme dan kefasihan yang luar biasa, mempelajari cara membuat bibir para aktor cocok dengan bahasa dan penerjemahnya.

O LipDub AI menggabungkan analisis audio dengan data video untuk mencapai sinkronisasi bibir yang tepat. Hasilnya adalah video di mana gerakan bibir sesuai dengan kata-kata yang diucapkan di trek audio, memberikan realisme yang lebih baik dalam aplikasi seperti dubbing film, konferensi video, dan animasi karakter.

Mengadaptasi teknologi ini menjadi produk yang berharga bagi industri film dan periklanan menghadirkan tantangan yang kompleks bagi para peneliti. Berbagai elemen produksi film, seperti perubahan pencahayaan dan sudut kamera, serta adegan dengan banyak aktor atau banyak wajah, memerlukan perhatian khusus.

Kendala signifikan muncul ketika AI awalnya gagal membedakan speaker dan non-speaker. Hal ini menghasilkan adegan di mana bibir masing-masing karakter bergerak selaras dengan satu kalimat yang diucapkan.

“Pada awalnya, kami harus menutupi wajah-wajah yang tidak ingin kami bicarakan,” kata Matt Panousis, salah satu pendiri dan chief operating officer MARZ. “Melakukan ini dalam video musik sederhana adalah satu hal. Cara lainnya adalah mengunggah seluruh film.” 

Masa depan AI di Hollywood masih ditentukan. Serikat pekerja SAG-AFTRA dan studio-studio Hollywood sedang mendiskusikan peran teknologi dalam produksi – dan perlunya persetujuan eksplisit dari para aktor akan mempersulit kesepakatan yang diperlukan untuk mewujudkannya. Lipdub AI dan teknologi lainnya dapat digunakan.

Pemogokan aktor Hollywood diakhiri dengan kesepakatan untuk 'melindungi anggota dari ancaman AI'

Setelah 118 hari, pemogokan aktor terlama dalam sejarah Hollywood berakhir dengan ratifikasi perjanjian baru bernilai miliaran dolar yang mencakup perlindungan baru terhadap kecerdasan buatan.

Jika LipDub AI dan teknologi serupa berkembang pesat, hal ini dapat memperluas jangkauan film dalam dan luar negeri, sehingga memberikan manfaat bagi para pencipta di seluruh dunia.

Baca juga:

Amazon menggunakan AI untuk memastikan ulasan pelanggan yang autentik; tahu caranya

Kecerdasan buatan (AI) Amazon memiliki kemampuan untuk mengidentifikasi pola tidak teratur dalam data yang mungkin menunjukkan bahwa ulasan produk tertentu salah. Tahu lebih banyak!

* Teks artikel ini sebagian dihasilkan oleh alat kecerdasan buatan, model bahasa canggih yang membantu dalam persiapan, peninjauan, penerjemahan, dan ringkasan teks. Entri teks dibuat oleh Curto Berita dan tanggapan dari alat AI digunakan untuk meningkatkan konten akhir.
Penting untuk digarisbawahi bahwa alat AI hanyalah alat, dan tanggung jawab akhir atas konten yang dipublikasikan terletak pada Curto Berita. Dengan menggunakan alat-alat ini secara bertanggung jawab dan etis, tujuan kami adalah memperluas kemungkinan komunikasi dan mendemokratisasi akses terhadap informasi berkualitas. 🤖