AI untuk alih suara bibir boleh mengubah industri filem; tahu bagaimana

Di Hollywood, banyak wang hilang dalam terjemahan.

Walaupun syarikat melabur dalam terjemahan skrip yang berkualiti dan persembahan yang lebih baik daripada pelakon suara, hiburan yang digelar sering kali masih kelihatan murahan seperti filem kung fu lama. Sebagus mana pun bunyi itu, terasa salah. Bibir tidak berbohong. 

"Bibir sentiasa, sentiasa bahagian terakhir yang tiada siapa menyelesaikannya," kata Jonathan Bronfman, pengasas bersama dan Ketua Pegawai Eksekutif syarikat kesan visual Monsters Aliens Robots Zombies (MARZ).

Bagaimana AI untuk alih suara bibir boleh mengubah industri filem https://t.co/Db0XAqF52G

— Fast Company (@FastCompany) November 19, 2023

LipDub AI

Awal tahun ini, syarikat Bronfman memperkenalkan teknologi yang dipanggil LipDub AI, yang secara digital memanipulasi ekspresi muka pelakon untuk memadankan perkataan yang dituturkan dalam bahasa asing. Teknologi promemencapai tahap realisme dan kefasihan yang luar biasa dengan mempelajari cara membuat bibir pelakon sepadan dengan bahasa dan jurubahasa.

O LipDub AI menggabungkan analisis audio dengan data video untuk mencapai penyegerakan bibir yang tepat. Hasilnya ialah video di mana pergerakan bibir sepadan dengan perkataan yang dituturkan pada trek audio, memberikan realisme yang lebih besar dalam aplikasi seperti alih suara filem, persidangan video dan animasi watak.

Menyesuaikan teknologi ini menjadi produk yang berharga untuk industri perfileman dan pengiklanan memberikan para penyelidik dengan cabaran yang kompleks. Pelbagai elemen pengeluaran filem, seperti perubahan dalam pencahayaan dan sudut kamera, bersama-sama dengan adegan dengan berbilang pelakon atau berbilang muka, memerlukan penjagaan khas.

Halangan ketara timbul apabila AI pada mulanya gagal membezakan antara pembesar suara dan bukan pembesar suara. Ini menghasilkan adegan di mana bibir setiap watak bergerak selari dengan satu baris pertuturan.

"Pada mulanya, kami terpaksa meletakkan kotak hitam di atas muka yang kami tidak mahu bercakap," kata Matt Panousis, pengasas bersama dan ketua pegawai operasi MARZ. "Ia satu perkara untuk melakukan ini dalam video muzik yang mudah. Satu lagi ialah memuat naik keseluruhan filem.” 

Masa depan AI di Hollywood masih ditentukan. Kesatuan SAG-AFTRA dan studio Hollywood sedang membincangkan peranan teknologi dalam produksi – dan keperluan untuk persetujuan yang jelas daripada pelakon akan merumitkan perjanjian yang diperlukan untuk merealisasikannya. Lipdub AI dan teknologi lain boleh digunakan.

Mogok pelakon Hollywood berakhir dengan persetujuan untuk 'melindungi ahli daripada ancaman AI'

Selepas 118 hari, mogok pelakon paling lama dalam sejarah Hollywood telah berakhir dengan pengesahan perjanjian berbilion dolar baharu yang merangkumi perlindungan baharu terhadap kecerdasan buatan.

Jadilah LipDub AI dan teknologi serupa berkembang maju, ia boleh meluaskan jangkauan filem dalam dan luar negara, memberi manfaat kepada pencipta di seluruh dunia.

Baca juga:

Amazon menggunakan AI untuk memastikan ulasan pelanggan yang sahih; tahu bagaimana

Kecerdasan buatan (AI) Amazon mempunyai keupayaan untuk mengenal pasti corak tidak teratur dalam data yang mungkin mencadangkan bahawa semakan produk tertentu adalah palsu. Mengetahui lebih lanjut!

* Teks artikel ini sebahagiannya dihasilkan oleh alat kecerdasan buatan, model bahasa terkini yang membantu dalam penyediaan, semakan, terjemahan dan ringkasan teks. Entri teks dicipta oleh Curto Berita dan maklum balas daripada alatan AI digunakan untuk menambah baik kandungan akhir.
Adalah penting untuk menyerlahkan bahawa alat AI hanyalah alat, dan tanggungjawab terakhir untuk kandungan yang diterbitkan terletak pada Curto Berita. Dengan menggunakan alat ini secara bertanggungjawab dan beretika, objektif kami adalah untuk mengembangkan kemungkinan komunikasi dan mendemokrasikan akses kepada maklumat berkualiti. 🤖