In Hollywood gaat veel geld verloren aan vertalingen.
Zelfs als bedrijven investeren in hoogwaardige scriptvertalingen en betere prestaties van stemacteurs, ziet nagesynchroniseerd entertainment er vaak nog steeds zo cheesy uit als oude kungfu-films. Hoe goed het geluid ook is, het voelt verkeerd. Lippen liegen niet.
PUBLICITEIT
“De lippen zijn altijd, altijd het laatste stukje dat niemand oplost”, zegt Jonathan Bronfman, mede-oprichter en CEO van visuele effectenbedrijf Monsters Aliens Robots Zombies (MARZ).
Hoe AI voor lip-dubbing de filmindustrie zou kunnen veranderen https://t.co/Db0XAqF52G
— Snel Bedrijf (@FastCompany) 19 november 2023
LipDub-AI
Eerder dit jaar introduceerde het bedrijf van Bronfman een technologie genaamd LipDub-AI, dat de gezichtsuitdrukkingen van acteurs digitaal manipuleert om te matchen met woorden die in vreemde talen worden gesproken. De technologie promebereik een buitengewoon niveau van realisme en vloeiendheid door te leren hoe je de lippen van de acteurs kunt afstemmen op de taal en de tolken.
O LipDub-AI combineert audioanalyse met videogegevens om nauwkeurige lipsynchronisatie te bereiken. Het resultaat is een video waarbij lipbewegingen overeenkomen met de woorden die op de audiotrack worden gesproken, wat zorgt voor meer realisme in toepassingen zoals filmnasynchronisatie, videoconferenties en karakteranimaties.
PUBLICITEIT
Het aanpassen van deze technologie tot een waardevol product voor de film- en reclame-industrie stelde onderzoekers voor complexe uitdagingen. De verschillende elementen van de filmproductie, zoals veranderingen in belichting en camerahoeken, samen met scènes met meerdere acteurs of meerdere gezichten, vereisten speciale zorg.
Een aanzienlijk obstakel ontstond toen de AI aanvankelijk geen onderscheid kon maken tussen sprekers en niet-sprekers. Dit resulteerde in scènes waarin de lippen van elk personage synchroon bewogen met een enkele gesproken regel.
“In het begin moesten we zwarte dozen over de gezichten plaatsen waar we niet over wilden praten”, zegt Matt Panousis, medeoprichter en chief operating officer van MARZ. “Het is één ding om dit in een eenvoudige muziekvideo te doen. Een andere is om een hele film te uploaden.
PUBLICITEIT
De toekomst van AI in Hollywood wordt nog steeds bepaald. De vakbond SAG-AFTRA en Hollywood-studio's bespreken de rol van technologie in producties – en de noodzaak van expliciete toestemming van acteurs zal de overeenkomsten die nodig zijn om dit te realiseren bemoeilijken. Lipdub-AI en andere technologieën kunnen worden gebruikt.
Als het LipDub-AI en soortgelijke technologieën floreren, zou het bereik van binnenlandse en buitenlandse films kunnen worden vergroot, wat makers over de hele wereld ten goede zou komen.
Lees ook:
* De tekst van dit artikel is gedeeltelijk gegenereerd door hulpmiddelen voor kunstmatige intelligentie, geavanceerde taalmodellen die helpen bij het voorbereiden, beoordelen, vertalen en samenvatten van teksten. Tekstinvoer is gemaakt door de Curto Nieuws en reacties van AI-tools werden gebruikt om de uiteindelijke inhoud te verbeteren.
Het is belangrijk om te benadrukken dat AI-tools slechts tools zijn, en dat de eindverantwoordelijkheid voor de gepubliceerde inhoud bij de organisatie ligt Curto Nieuws. Door deze hulpmiddelen op een verantwoorde en ethisch verantwoorde manier te gebruiken, is het ons doel om de communicatiemogelijkheden uit te breiden en de toegang tot kwaliteitsinformatie te democratiseren. 🤖
PUBLICITEIT
