Dudak dublajı için yapay zeka film endüstrisini değiştirebilir; bilgi birikimi

Hollywood'da çeviride çok para kaybediliyor.

Şirketler kaliteli senaryo çevirilerine ve seslendirme sanatçılarının daha iyi performanslarına yatırım yapsa bile, dublajlı eğlence genellikle eski kung fu filmleri kadar sevimsiz görünüyor. Ses ne kadar iyi olursa olsun, yanlış hissettiriyor. Dudaklar yalan söylemez. 

Görsel efekt şirketi Monsters Aliens Robots Zombies'in (MARZ) kurucu ortağı ve CEO'su Jonathan Bronfman, "Dudaklar her zaman, her zaman kimsenin çözemediği son parçadır" diyor.

Dudak dublajı için yapay zeka film endüstrisini nasıl değiştirebilir? https://t.co/Db0XAqF52G

— Hızlı Şirket (@HızlıŞirket) 19 Kasım 2023

LipDub AI

Bu yılın başlarında Bronfman'ın şirketi şu teknolojiyi tanıttı: LipDub AIOyuncuların yüz ifadelerini yabancı dillerde konuşulan kelimelerle eşleştirmek için dijital olarak manipüle eden. Teknoloji promeOyuncuların dudaklarının dil ve tercümanla nasıl eşleşeceğini öğrenerek olağanüstü düzeyde gerçekçilik ve akıcılık elde edin.

O LipDub AI Hassas dudak senkronizasyonu sağlamak için ses analizini video verileriyle birleştirir. Sonuç, dudak hareketlerinin ses kaydında söylenen sözcüklerle eşleştiği, film dublajı, video konferans ve karakter animasyonları gibi uygulamalarda daha fazla gerçekçilik sağlayan bir videodur.

Bu teknolojiyi film ve reklam endüstrileri için değerli bir ürüne uyarlamak, araştırmacılara karmaşık zorluklar yaşattı. Işıklandırma ve kamera açılarındaki değişiklikler, birden fazla aktörün veya birden fazla yüzün yer aldığı sahneler gibi film yapımının çeşitli unsurları özel dikkat gerektiriyordu.

Yapay zeka başlangıçta konuşanlarla konuşmayanlar arasında ayrım yapamadığında önemli bir engel ortaya çıktı. Bu, her karakterin dudaklarının tek bir konuşma satırıyla senkronize olarak hareket ettiği sahnelerle sonuçlandı.

MARZ kurucu ortağı ve baş işletme sorumlusu Matt Panousis, "Başlangıçta, hakkında konuşmak istemediğimiz yüzlerin üzerine kara kutular koymak zorunda kaldık" diyor. “Bunu basit bir müzik videosunda yapmak başka bir şey. Bir diğeri ise bir filmin tamamını yüklemek. 

Yapay zekanın Hollywood'daki geleceği hâlâ belirleniyor. SAG-AFTRA sendikası ve Hollywood stüdyoları, yapımlarda teknolojinin rolünü tartışıyor ve oyuncuların açık rızasının alınması, bunun gerçekleşmesi için gereken anlaşmaları zorlaştıracak. Lipdub AI ve diğer teknolojiler kullanılabilir.

Hollywood oyuncularının grevi 'üyeleri AI tehdidinden koruma' anlaşmasıyla sona erdi

118 gün sonra Hollywood tarihinin en uzun oyuncu grevi, yapay zekaya karşı yeni korumalar içeren milyar dolarlık yeni bir anlaşmanın onaylanmasıyla sona erdi.

Ol LipDub AI ve benzer teknolojilerin gelişmesi, yerli ve yabancı filmlerin erişimini genişleterek dünya çapındaki yaratıcılara fayda sağlayabilir.

Ayrıca okuyun:

Amazon, özgün müşteri incelemeleri sağlamak için yapay zekayı kullanıyor; bilgi birikimi

Amazon'un yapay zekası (AI), verilerdeki belirli bir ürün incelemesinin yanlış olduğunu düşündürebilecek düzensiz kalıpları belirleme yeteneğine sahiptir. Daha fazlasını öğrenin!

* Bu makalenin metni kısmen yapay zeka araçları, metinlerin hazırlanmasına, incelenmesine, çevrilmesine ve özetlenmesine yardımcı olan son teknoloji dil modelleri tarafından oluşturulmuştur. Metin girişleri şu kişi tarafından oluşturuldu: Curto Nihai içeriği iyileştirmek için yapay zeka araçlarından gelen haberler ve yanıtlar kullanıldı.
Yapay zeka araçlarının yalnızca araçlar olduğunu ve yayınlanan içeriğin nihai sorumluluğunun kullanıcıya ait olduğunu vurgulamak önemlidir. Curto Haberler. Bu araçları sorumlu ve etik bir şekilde kullanarak amacımız iletişim olanaklarını genişletmek ve kaliteli bilgiye erişimi demokratikleştirmektir. 🤖