EMO: IA do Alibaba dá vida a retratos, gerando vídeos realistas

Pesquisadores do Alibaba acabaram de revelar o EMO, um sistema de inteligência artificial (IA) capaz de gerar vídeos realistas de retratos falando, cantando e se movendo a partir de uma única imagem de referência e um clipe de áudio.

Publicado por

Isabella Caminoto

1 de março de 2024 12:00

EMO Alibaba

Como funciona o EMO

O EMO foi treinado em mais de 250 horas de vídeos diversos e multilíngues, incluindo discursos, filmes e apresentações musicais.
Ao invés de depender de modelos 3D tradicionais, o sistema gera diretamente os quadros do vídeo utilizando um modelo de difusão.
O EMO combina a imagem de referência com a geração para garantir a consistência em vídeos mais longos, capturando expressões e sincronizando lábios de forma realista.

A sincronização realista de áudio/expressão do EMO indica que estamos prestes a entrar em um novo mundo de capacidades de geração de vídeo por inteligência artificial. Isso traz tanto entusiasmo criativo quanto preocupações significativas com deepfakes (vídeos falsos e manipulados).

Leia também:

Meta anuncia lançamento do Llama 3 em julho; saiba detalhes

A Meta está planejando lançar a versão mais recente de seu grande modelo de linguagem baseado em inteligência artificial (IA), o Llama 3, em julho, o que proporcionaria respostas melhores a perguntas controversas feitas pelos usuários, relatou o The Information.

Este post foi modificado pela última vez em %s = human-readable time difference 20:47

Isabella Caminoto

Advogada e mestranda em Direito Internacional, tenho a democracia e a liberdade como bandeiras irrenunciáveis. Sou apaixonada pelos animais e acredito que o bem-estar do nosso planeta deveria ser o destaque diário da pauta da nossa sociedade.