Google revela Lumiere: um avanço nos vídeos gerados por IA

O Google colabora com institutos acadêmicos para desenvolver o Lumiere, um modelo avançado de difusão espaço-temporal, com o objetivo de revolucionar a geração de vídeos realistas por inteligência artificial (IA).

As empresas estão competindo para desenvolver ferramentas cada vez mais avançadas no cenário em rápida evolução da IA ​​generativa. Um desenvolvimento notável neste campo competitivo é o Lumiere, um modelo pioneiro de difusão espaço-tempo elaborado por uma equipe colaborativa do Google, do Instituto Weizmann de Ciência e da Universidade de Tel Aviv 

PUBLICIDADE

Este modelo é uma prova do compromisso do Google em melhorar a geração de vídeo realista. Um artigo publicado recentemente revela os meandros desta tecnologia, embora os testes práticos dos modelos ainda não tenham sido realizados. 

Caso esses modelos se tornem acessíveis para testes, o Google estará pronto para emergir como um concorrente formidável no domínio de vídeo de IA, uma arena atualmente liderada por entidades como Runway, Pika e Stability AI.

Como funciona o Lumiere

Uma arquitetura Space-Time U-Net (STUNet) combinada com um modelo de difusão de texto para imagem pré-treinado está no centro da inovação Lumiere. 

PUBLICIDADE

O modelo processa os aspectos espaciais e temporais de um vídeo, permitindo gerar toda a duração temporal de uma só vez, sem a necessidade de quadros-chave intermediários ou modelos temporais de super-resolução. Essa integração resulta em movimentos de vídeo realistas e coerentes e na capacidade de lidar com formatos mais longos, mais eficazes e de maior resolução.

Capacidades do Lumiere

O Lumiere se destaca pela capacidade de criar e editar vídeos com base em instruções de texto ou imagem. Os usuários podem descrever uma cena e a ferramenta dará vida a ela em formato de vídeo. 

Além disso, suporta pintura interna, cinematografia e geração estilizada, permitindo uma ampla gama de possibilidades criativas. Desde a transformação de uma imagem estática em uma cena dinâmica até a adição de estilos artísticos aos vídeos, a flexibilidade do Lumiere na criação de conteúdo é incomparável.

PUBLICIDADE

Leia também:

Procurando uma ferramenta de Inteligência Artificial para facilitar a sua vida? Neste guIA, você navega por um catálogo de robôs movidos a IA e conhece suas funcionalidades. Confira a avaliação que a nossa equipe de jornalistas deu para elas!

Rolar para cima