هوش مصنوعی برای دوبله لب می تواند صنعت فیلم را تغییر دهد. می دانم چگونه

در هالیوود پول زیادی در ترجمه از دست می رود.

حتی اگر شرکت‌ها روی ترجمه‌های با کیفیت فیلمنامه و اجرای بهتر صداپیشگان سرمایه‌گذاری کنند، سرگرمی‌های دوبله شده اغلب مانند فیلم‌های قدیمی کونگ فو جذاب به نظر می‌رسند. هرچقدر هم که صدا خوب باشد، احساس اشتباهی دارد. لب ها دروغ نمی گویند 

جاناتان برونفمن، یکی از بنیانگذاران و مدیر عامل شرکت جلوه های بصری Monsters Aliens Robots Zombies (MARZ) می گوید: «لب ها همیشه، همیشه آخرین قطعه ای هستند که هیچ کس آن را حل نمی کند.

چگونه هوش مصنوعی برای دوبله لب می تواند صنعت فیلم را تغییر دهد https://t.co/Db0XAqF52G

- شرکت سریع (@FastCompany) نوامبر 19، 2023

LipDub AI

در اوایل سال جاری، شرکت برونفمن یک فناوری به نام معرفی کرد LipDub AI، که به صورت دیجیتالی حالات چهره بازیگران را دستکاری می کند تا کلماتی را که به زبان های خارجی گفته می شود مطابقت دهد. تکنولوژی promeبه سطح فوق‌العاده‌ای از واقع‌گرایی و روانی دست پیدا کنید، و یاد بگیرید چگونه لب‌های بازیگران را با زبان و مترجمان هماهنگ کنید.

O LipDub AI برای دستیابی به همگام سازی دقیق لب، تجزیه و تحلیل صدا را با داده های ویدئویی ترکیب می کند. نتیجه ویدئویی است که در آن حرکات لب با کلمات گفته شده در آهنگ صوتی مطابقت دارد و در برنامه هایی مانند دوبله فیلم، کنفرانس ویدئویی و انیمیشن شخصیت ها واقع گرایی بیشتری ارائه می دهد.

انطباق این فناوری به یک محصول ارزشمند برای صنایع فیلم و تبلیغات، محققان را با چالش‌های پیچیده‌ای مواجه کرد. عناصر مختلف تولید فیلم، مانند تغییر در نور و زوایای دوربین، همراه با صحنه هایی با چند بازیگر یا چند چهره، نیازمند دقت خاصی بود.

هنگامی که هوش مصنوعی در ابتدا نتوانست بین سخنرانان و ناسخنان تمایز قائل شود، یک مانع مهم به وجود آمد. این منجر به صحنه‌هایی شد که لب‌های هر شخصیت با یک خط گفتاری هماهنگ حرکت می‌کردند.

مت پانوسیس، یکی از بنیانگذاران و مدیر عملیات MARZ می گوید: «در ابتدا، ما مجبور بودیم جعبه های سیاه را روی چهره هایی که نمی خواستیم درباره آنها صحبت کنیم، قرار می دادیم. «این یک چیز است که این کار را در یک موزیک ویدیوی ساده انجام دهید. دیگری این است که یک فیلم کامل را آپلود کنید.» 

آینده هوش مصنوعی در هالیوود هنوز مشخص می شود. اتحادیه SAG-AFTRA و استودیوهای هالیوود در حال بحث در مورد نقش فناوری در تولیدات هستند - و نیاز به رضایت صریح از بازیگران، توافقات لازم برای تحقق آن را پیچیده خواهد کرد. Lipdub AI و سایر فناوری ها را می توان استفاده کرد.

اعتصاب بازیگران هالیوود با توافق برای "حفاظت از اعضا در برابر تهدید هوش مصنوعی" پایان یافت.

پس از 118 روز، طولانی ترین اعتصاب بازیگران در تاریخ هالیوود با تصویب یک قرارداد میلیارد دلاری جدید که شامل حمایت های جدید در برابر هوش مصنوعی است، به پایان رسید.

اگر LipDub AI و فناوری‌های مشابه رشد می‌کند، می‌تواند دامنه فیلم‌های داخلی و خارجی را گسترش دهد و به نفع سازندگان در سراسر جهان باشد.

همچنین بخوانید:

آمازون از هوش مصنوعی برای اطمینان از بررسی های معتبر مشتریان استفاده می کند. می دانم چگونه

هوش مصنوعی آمازون (AI) توانایی شناسایی الگوهای نامنظم در داده‌ها را دارد که ممکن است نشان دهد یک بررسی محصول خاص نادرست است. بیشتر بدانید!

* متن این مقاله تا حدی توسط ابزارهای هوش مصنوعی، مدل‌های زبانی پیشرفته که در تهیه، بررسی، ترجمه و خلاصه‌سازی متون کمک می‌کنند، تولید شده است. ورودی های متنی توسط Curto از اخبار و پاسخ‌های ابزارهای هوش مصنوعی برای بهبود محتوای نهایی استفاده شد.
مهم است که تأکید کنیم ابزارهای هوش مصنوعی فقط ابزار هستند و مسئولیت نهایی محتوای منتشر شده بر عهده Curto اخبار. با استفاده مسئولانه و اخلاقی از این ابزارها، هدف ما گسترش امکانات ارتباطی و دموکراتیک کردن دسترسی به اطلاعات با کیفیت است. 🤖