Maaaring baguhin ng AI para sa lip dubbing ang industriya ng pelikula; alam kung paano

Sa Hollywood, maraming pera ang nawawala sa pagsasalin.

Kahit na mamuhunan ang mga kumpanya sa mga de-kalidad na pagsasalin ng script at mas mahuhusay na performance mula sa mga voice actor, ang binansagang entertainment ay kadalasang mukhang cheesy pa rin gaya ng mga lumang kung fu na pelikula. Kahit gaano pa kaganda ang tunog, mali ang pakiramdam. Ang mga labi ay hindi nagsisinungaling. 

"Ang mga labi ay palaging, palaging ang huling piraso na walang nilulutas," sabi ni Jonathan Bronfman, co-founder at CEO ng kumpanya ng visual effects na Monsters Aliens Robots Zombies (MARZ).

Paano mababago ng AI para sa lip dubbing ang industriya ng pelikula https://t.co/Db0XAqF52G

— Mabilis na Kumpanya (@FastCompany) Nobyembre 19, 2023

LipDub AI

Mas maaga sa taong ito, ipinakilala ng kumpanya ng Bronfman ang isang teknolohiyang tinatawag LipDub AI, na digital na minamanipula ang mga ekspresyon ng mukha ng mga aktor upang tumugma sa mga salitang sinasalita sa mga banyagang wika. Ang teknolohiya promemakamit ang isang pambihirang antas ng pagiging totoo at katatasan, pag-aaral kung paano gawing tugma ang mga labi ng mga aktor sa wika at sa mga interpreter.

O LipDub AI pinagsasama ang pagsusuri ng audio sa data ng video upang makamit ang tumpak na pag-sync ng labi. Ang resulta ay isang video kung saan ang mga galaw ng labi ay tumutugma sa mga salitang binibigkas sa audio track, na nagbibigay ng higit na pagiging totoo sa mga application tulad ng film dubbing, video conferencing at character animation.

Ang pag-angkop sa teknolohiyang ito sa isang mahalagang produkto para sa industriya ng pelikula at advertising ay nagpakita sa mga mananaliksik ng mga kumplikadong hamon. Ang iba't ibang elemento ng paggawa ng pelikula, tulad ng mga pagbabago sa ilaw at anggulo ng camera, kasama ang mga eksenang may maraming aktor o maraming mukha, ay nangangailangan ng espesyal na pangangalaga.

Ang isang makabuluhang balakid ay lumitaw nang ang AI ay unang nabigo sa pagkakaiba sa pagitan ng mga nagsasalita at hindi nagsasalita. Nagresulta ito sa mga eksena kung saan ang mga labi ng bawat karakter ay gumagalaw kasabay sa isang pasalitang linya.

"Sa simula, kinailangan naming maglagay ng mga itim na kahon sa mga mukha na hindi namin gustong pag-usapan," sabi ni Matt Panousis, co-founder at chief operating officer ng MARZ. "Isang bagay na gawin ito sa isang simpleng music video. Isa pa ay mag-upload ng buong pelikula.” 

Ang hinaharap ng AI sa Hollywood ay tinutukoy pa rin. Ang SAG-AFTRA union at Hollywood studios ay tinatalakay ang papel ng teknolohiya sa mga produksyon - at ang pangangailangan para sa tahasang pahintulot mula sa mga aktor ay magpapalubha sa mga kasunduan na kailangan upang maisakatuparan ito. Lipdub AI at iba pang mga teknolohiya ay maaaring gamitin.

Ang welga ng mga aktor sa Hollywood ay nagtapos sa kasunduan na 'protektahan ang mga miyembro mula sa banta ng AI'

Pagkalipas ng 118 araw, natapos na ang pinakamahabang welga ng aktor sa kasaysayan ng Hollywood sa pagpapatibay ng isang bagong bilyong dolyar na deal na kinabibilangan ng mga bagong proteksyon laban sa artificial intelligence.

Kung ang LipDub AI at umuunlad ang mga katulad na teknolohiya, maaari nitong palawakin ang abot ng mga domestic at foreign na pelikula, na nakikinabang sa mga creator sa buong mundo.

Basahin din:

Gumagamit ang Amazon ng AI upang matiyak ang tunay na mga pagsusuri ng customer; alam kung paano

Ang artificial intelligence (AI) ng Amazon ay may kakayahang tumukoy ng mga hindi regular na pattern sa data na maaaring magmungkahi na ang isang partikular na pagsusuri ng produkto ay mali. Alamin pa!

* Ang teksto ng artikulong ito ay bahagyang nabuo ng mga tool ng artificial intelligence, mga makabagong modelo ng wika na tumutulong sa paghahanda, pagsusuri, pagsasalin at pagbubuod ng mga teksto. Ang mga text entry ay nilikha ng Curto Ang mga balita at tugon mula sa mga tool ng AI ay ginamit upang pahusayin ang panghuling nilalaman.
Mahalagang i-highlight na ang mga tool ng AI ay mga tool lamang, at ang huling responsibilidad para sa na-publish na nilalaman ay nakasalalay sa Curto Balita. Sa pamamagitan ng paggamit ng mga tool na ito nang responsable at etikal, ang aming layunin ay palawakin ang mga posibilidad sa komunikasyon at gawing demokrasya ang pag-access sa de-kalidad na impormasyon. 🤖