VLOGGER do Google dá vida aos avatares; entenda

Os pesquisadores do Google acabaram de desenvolver o VLOGGER, um novo modelo de IA que pode gerar vídeos fotorrealistas de avatares falantes com movimentos completos da parte superior do corpo a partir de apenas uma imagem estática e um clipe de áudio.

Publicado por

Juliana Caminoto

18 de março de 2024 17:00

Reprodução: Google

VLOGGER é uma plataforma inovadora que permite a criação de avatares controláveis capazes de capturar com precisão semelhanças e movimentos. Para alcançar esse nível de realismo, o modelo por trás do VLOGGER foi treinado em um vasto conjunto de dados multimídia, composto por 800 mil vídeos de pessoas conversando.

Cada vídeo foi meticulosamente rotulado, identificando cada parte do rosto e do corpo em movimento. Essa abordagem detalhada permitiu ao VLOGGER aprender e reproduzir com precisão uma ampla gama de expressões faciais e gestos corporais.

As aplicações potenciais dessa tecnologia são diversas e empolgantes. Uma delas é a dublagem automática de vídeos em diferentes idiomas, aproveitando a capacidade da ferramenta de criar avatares realistas que podem sincronizar os movimentos labiais com o áudio.

Além disso, o VLOGGER pode ser utilizado na criação de avatares para jogos ou assistentes virtuais, oferecendo uma interação mais imersiva e personalizada para os usuários.

Google VLOGGER: converse com uma foto usando sua voz

A nova ferramenta de IA do Google, chamada VLOGGER, permite transformar fotos em avatares que você controla com a voz. Ela foi treinada com o dataset MENTOR, contendo 800.000 vídeos de pessoas falando.

Outra aplicação interessante é a capacidade de ativar chats de vídeo com baixa largura de banda, onde o VLOGGER pode representar os usuários de forma realista, mesmo em condições de conexão limitada. Essas possibilidades destacam o potencial transformador da ferramenta em várias áreas, desde entretenimento até comunicação.

Leia também:

Apple entra no jogo da IA com o MM1; saiba mais

A Apple mudou seu foco do projeto de carro elétrico de longo prazo para explorar a IA generativa. A empresa revelou um modelo sofisticado de IA multimodal chamado MM1, desenvolvido com a expertise de 30 pesquisadores.

Este post foi modificado pela última vez em %s = human-readable time difference 17:26

Juliana Caminoto

Advogada com especialização em compliance e auditoria, estou sempre conectada às redes sociais e em busca de novos desafios. Sou mãe de pet e amo viajar.