Google revela Lumiere: um avanço nos vídeos gerados por IA

As empresas estão competindo para desenvolver ferramentas cada vez mais avançadas no cenário em rápida evolução da IA ​​generativa. Um desenvolvimento notável neste campo competitivo é o Lumiere, um modelo pioneiro de difusão espaço-tempo elaborado por uma equipe colaborativa do Google, do Instituto Weizmann de Ciência e da Universidade de Tel Aviv . 

Este modelo é uma prova do compromisso do Google em melhorar a geração de vídeo realista. Um artigo publicado recentemente revela os meandros desta tecnologia, embora os testes práticos dos modelos ainda não tenham sido realizados. 

Caso esses modelos se tornem acessíveis para testes, o Google estará pronto para emergir como um concorrente formidável no domínio de vídeo de IA, uma arena atualmente liderada por entidades como Runway, Pika e Stability AI.

Como funciona o Lumiere

Uma arquitetura Space-Time U-Net (STUNet) combinada com um modelo de difusão de texto para imagem pré-treinado está no centro da inovação Lumiere. 

O modelo processa os aspectos espaciais e temporais de um vídeo, permitindo gerar toda a duração temporal de uma só vez, sem a necessidade de quadros-chave intermediários ou modelos temporais de super-resolução. Essa integração resulta em movimentos de vídeo realistas e coerentes e na capacidade de lidar com formatos mais longos, mais eficazes e de maior resolução.

Capacidades do Lumiere

O Lumiere se destaca pela capacidade de criar e editar vídeos com base em instruções de texto ou imagem. Os usuários podem descrever uma cena e a ferramenta dará vida a ela em formato de vídeo. 

Além disso, suporta pintura interna, cinematografia e geração estilizada, permitindo uma ampla gama de possibilidades criativas. Desde a transformação de uma imagem estática em uma cena dinâmica até a adição de estilos artísticos aos vídeos, a flexibilidade do Lumiere na criação de conteúdo é incomparável.

Leia também: