AI cho việc lồng tiếng nhép có thể thay đổi ngành công nghiệp điện ảnh; chuyên gia

Ở Hollywood, rất nhiều tiền đang bị thất thoát trong việc dịch thuật.

Ngay cả khi các công ty đầu tư vào bản dịch kịch bản chất lượng và diễn xuất tốt hơn từ các diễn viên lồng tiếng, giải trí lồng tiếng thường vẫn sến súa như những bộ phim kung fu ngày xưa. Âm thanh dù có hay đến đâu cũng có cảm giác không ổn. Đôi môi không nói dối. 

Jonathan Bronfman, đồng sáng lập và CEO của công ty hiệu ứng hình ảnh Monsters Aliens Robots Zombies (MARZ) cho biết: “Đôi môi luôn là mảnh ghép cuối cùng mà không ai giải quyết được”.

AI lồng tiếng có thể thay đổi ngành công nghiệp điện ảnh như thế nào https://t.co/Db0XAqF52G

- Công ty nhanh (@FastCompany) Tháng Mười Một 19, 2023

AI LipDub

Đầu năm nay, công ty của Bronfman đã giới thiệu một công nghệ có tên AI LipDub, điều khiển kỹ thuật số nét mặt của diễn viên để khớp với các từ được nói bằng tiếng nước ngoài. Công nghệ promeđạt được mức độ chân thực và trôi chảy phi thường, học cách làm cho môi của diễn viên phù hợp với ngôn ngữ và người phiên dịch.

O AI LipDub kết hợp phân tích âm thanh với dữ liệu video để đạt được khả năng đồng bộ hóa môi chính xác. Kết quả là một video trong đó chuyển động của môi khớp với các từ được nói trên rãnh âm thanh, mang lại độ chân thực cao hơn trong các ứng dụng như lồng tiếng cho phim, hội nghị truyền hình và hoạt ảnh nhân vật.

Việc điều chỉnh công nghệ này thành một sản phẩm có giá trị cho ngành công nghiệp phim ảnh và quảng cáo đã đặt ra cho các nhà nghiên cứu những thách thức phức tạp. Các yếu tố khác nhau của quá trình sản xuất phim, chẳng hạn như thay đổi ánh sáng và góc máy, cùng với những cảnh có nhiều diễn viên hoặc nhiều khuôn mặt, cần được chăm sóc đặc biệt.

Một trở ngại đáng kể nảy sinh khi AI ban đầu không thể phân biệt được người nói và người không nói. Điều này dẫn đến những cảnh môi của mỗi nhân vật chuyển động đồng bộ với một câu thoại duy nhất.

Matt Panousis, đồng sáng lập và giám đốc điều hành MARZ, cho biết: “Ban đầu, chúng tôi phải đặt những chiếc hộp đen lên những khuôn mặt mà chúng tôi không muốn nhắc đến. “Làm điều này trong một video ca nhạc đơn giản là một chuyện. Một cách khác là tải lên toàn bộ bộ phim.” 

Tương lai của AI ở Hollywood vẫn đang được xác định. Liên minh SAG-AFTRA và các hãng phim Hollywood đang thảo luận về vai trò của công nghệ trong sản xuất – và việc cần có sự đồng ý rõ ràng từ các diễn viên sẽ làm phức tạp thêm các thỏa thuận cần thiết để biến điều đó thành hiện thực. Lipdub AI và các công nghệ khác có thể được sử dụng.

Cuộc đình công của các diễn viên Hollywood kết thúc với thỏa thuận 'bảo vệ các thành viên khỏi mối đe dọa AI'

Sau 118 ngày, cuộc đình công dài nhất của diễn viên trong lịch sử Hollywood đã kết thúc với việc phê chuẩn một thỏa thuận mới trị giá hàng tỷ đô la bao gồm các biện pháp bảo vệ mới chống lại trí tuệ nhân tạo.

Nếu AI LipDub và các công nghệ tương tự phát triển mạnh, nó có thể mở rộng phạm vi tiếp cận của phim trong và ngoài nước, mang lại lợi ích cho những người sáng tạo trên toàn thế giới.

Đọc thêm:

Amazon sử dụng AI để đảm bảo đánh giá xác thực của khách hàng; chuyên gia

Trí tuệ nhân tạo (AI) của Amazon có khả năng xác định các mẫu dữ liệu bất thường có thể gợi ý rằng đánh giá sản phẩm cụ thể là sai. Biêt nhiêu hơn!

* Nội dung bài viết này được tạo ra một phần bằng các công cụ trí tuệ nhân tạo, các mô hình ngôn ngữ tiên tiến hỗ trợ việc soạn thảo, rà soát, dịch thuật và tóm tắt văn bản. Các mục văn bản được tạo bởi Curto Tin tức và phản hồi từ các công cụ AI đã được sử dụng để cải thiện nội dung cuối cùng.
Điều quan trọng cần nhấn mạnh là các công cụ AI chỉ là công cụ và trách nhiệm cuối cùng đối với nội dung được xuất bản thuộc về Curto Tin tức. Bằng cách sử dụng những công cụ này một cách có trách nhiệm và có đạo đức, mục tiêu của chúng tôi là mở rộng khả năng giao tiếp và dân chủ hóa việc tiếp cận thông tin có chất lượng. 🤖