In Hollywood geht viel Geld durch Übersetzungen verloren.
Selbst wenn Unternehmen in hochwertige Drehbuchübersetzungen und bessere Leistungen der Synchronsprecher investieren, sieht synchronisierte Unterhaltung oft immer noch genauso kitschig aus wie alte Kung-Fu-Filme. Egal wie gut der Klang ist, er fühlt sich falsch an. Lippen lügen nicht.
WERBUNG
„Die Lippen sind immer, immer das letzte Stück, das niemand löst“, sagt Jonathan Bronfman, Mitbegründer und CEO des Visual-Effects-Unternehmens Monsters Aliens Robots Zombies (MARZ).
Wie KI für die Lippensynchronisation die Filmindustrie verändern könnte https://t.co/Db0XAqF52G
– Schnelle Firma (@FastCompany) 19. November 2023
LipDub AI
Anfang des Jahres stellte Bronfmans Unternehmen eine Technologie namens vor LipDub AI, das die Mimik der Schauspieler digital manipuliert, um sie an in Fremdsprachen gesprochene Wörter anzupassen. Die Technologie promeErreichen Sie ein außergewöhnliches Maß an Realismus und Geläufigkeit und lernen Sie, wie Sie die Lippen der Schauspieler an die Sprache und die Dolmetscher anpassen.
O LipDub AI kombiniert Audioanalyse mit Videodaten, um eine präzise Lippensynchronisation zu erreichen. Das Ergebnis ist ein Video, bei dem die Lippenbewegungen mit den auf der Audiospur gesprochenen Worten übereinstimmen, was für mehr Realismus bei Anwendungen wie Filmsynchronisation, Videokonferenzen und Charakteranimationen sorgt.
WERBUNG
Die Umsetzung dieser Technologie in ein wertvolles Produkt für die Film- und Werbeindustrie stellte die Forscher vor komplexe Herausforderungen. Die verschiedenen Elemente der Filmproduktion, wie z. B. Änderungen der Beleuchtung und der Kamerawinkel sowie Szenen mit mehreren Schauspielern oder mehreren Gesichtern, erforderten besondere Sorgfalt.
Ein erhebliches Hindernis entstand, als es der KI zunächst nicht gelang, zwischen Sprechern und Nicht-Sprechern zu unterscheiden. Dies führte zu Szenen, in denen sich die Lippen jedes Charakters synchron mit einer einzelnen gesprochenen Zeile bewegten.
„Am Anfang mussten wir schwarze Kästchen über die Gesichter legen, über die wir nicht sprechen wollten“, sagt Matt Panousis, Mitbegründer und Chief Operating Officer von MARZ. „Es ist eine Sache, das in einem einfachen Musikvideo zu machen. Eine andere Möglichkeit besteht darin, einen ganzen Film hochzuladen.“
WERBUNG
Die Zukunft der KI in Hollywood wird noch entschieden. Die Gewerkschaft SAG-AFTRA und die Hollywood-Studios diskutieren über die Rolle der Technologie in Produktionen – und die Notwendigkeit einer ausdrücklichen Zustimmung der Schauspieler wird die dafür notwendigen Vereinbarungen erschweren Lipdub AI und andere Technologien können verwendet werden.
Wenn das LipDub AI und ähnliche Technologien gedeihen, könnte dies die Reichweite in- und ausländischer Filme vergrößern, was Filmschaffenden auf der ganzen Welt zugute kommen würde.
Lesen Sie auch:
* Der Text dieses Artikels wurde teilweise mit Tools der künstlichen Intelligenz generiert, modernsten Sprachmodellen, die bei der Vorbereitung, Überprüfung, Übersetzung und Zusammenfassung von Texten helfen. Texteinträge wurden von erstellt Curto Nachrichten und Antworten von KI-Tools wurden genutzt, um den endgültigen Inhalt zu verbessern.
Es ist wichtig zu betonen, dass KI-Tools nur Werkzeuge sind und die letztendliche Verantwortung für die veröffentlichten Inhalte bei ihnen liegt Curto Nachricht. Durch den verantwortungsvollen und ethischen Einsatz dieser Tools ist es unser Ziel, die Kommunikationsmöglichkeiten zu erweitern und den Zugang zu hochwertigen Informationen zu demokratisieren. 🤖
WERBUNG
