Lumiere: IA de vídeo do Google é capaz produzir imagens em alta resolução

O Google Lumiere encontra-se atualmente em estágio de desenvolvimento e foi revelado pela Big Tech por meio de um artigo pré-impresso. De acordo com as informações fornecidas pela empresa, o Lumiere destaca-se em relação a outros modelos de inteligência artificial no setor ao adotar um modelo de difusão denominado Space-Time-U-Net. Esse método inovador implica na geração de vídeos por meio de um processo específico, marcando diferenças substanciais em comparação com abordagens convencionais.

O software do Google Lumiere adota uma abordagem inovadora no processo de geração de vídeos. Inicialmente, identifica a localização dos elementos na imagem ou texto (espaço) e, em seguida, analisa como esses elementos se movem e evoluem ao longo do tempo. Posteriormente, realiza uma aproximação entre as imagens de forma contínua, proporcionando uma transição suave e natural.

De acordo com o Google, essa metodologia contrasta com outros modelos de inteligência artificial para vídeos, os quais muitas vezes compilam partes fragmentadas, como quadros distantes e estáticos, para formar o todo. Essa diferença fundamental resulta em uma qualidade de geração de vídeo mais próxima da realidade, destacando a eficácia do Lumiere em relação aos seus concorrentes.

Conforme divulgado pelo site Ars Technica, o Lumiere demonstra sua capacidade gerando 80 quadros a 16 quadros por segundo (fps) em vídeos com resolução de 1024×1024 pixels e cinco segundos de duração, ainda em baixa resolução.

Em comparação, a ferramenta de inteligência artificial Stable Video Diffusion, já utilizada para criar vídeos, gera 25 quadros. Esta ferramenta representa uma evolução do próprio Google, pois, no modelo anterior chamado Imagen Video, conseguia gerar vídeos curtos com 24 quadros.

A empresa revelou que treinou o Lumiere usando um conjunto de dados composto por 30 milhões de vídeos e legendas de texto, mas não divulgou a origem desses dados.

O Lumiere tem a capacidade de gerar vídeos a partir de prompts de texto, conversão de imagens estáticas ou imagens de referência. Além disso, o Google afirma que é possível realizar edições nos vídeos ou criar animações específicas em uma foto estática, como, por exemplo, simular o movimento de um vestido.

O Google já realizou demonstrações práticas do desempenho do Lumiere, incluindo exemplos envolvendo animais adoráveis.

Apesar da natureza artificial evidente nos vídeos, identificável como sendo produzida por inteligência artificial, eles conseguem imitar movimentos semelhantes aos reais tanto de animais quanto de humanos, proporcionando uma fluidez notável.

Até o momento não há uma previsão de quando a ferramenta estaria disponível para o consumidor final.

Leia também: