Seaweed: A IA de vídeo eficiente da ByteDance

A ByteDance apresentou o Seaweed, um modelo de geração de vídeo hiper-eficiente com 7 bilhões de parâmetros que compete com modelos muito maiores, como Kling 1.6, Google Veo e Wan 2.1, apesar de usar significativamente menos recursos computacionais.

Detalhes do Seaweed

• O Seaweed apresenta múltiplos modos de geração, incluindo texto para vídeo, imagem para vídeo e síntese baseada em áudio, com saídas de até 20 segundos.
• O modelo se classifica altamente contra rivais em avaliações humanas e se destaca em tarefas de imagem para vídeo, superando massivamente modelos como Sora e Wan 2.1.
• Ele também pode lidar com tarefas complexas como storytelling com múltiplas tomadas, movimentos de câmera controlados e até mesmo geração audiovisual sincronizada.
• A ByteDance afirma que o Seaweed foi ajustado para aplicações como animação humana, com um forte foco em movimento humano realista e sincronização labial.

Por que isso é importante

Entre Wan (Alibaba), Kling e agora o Seaweed da ByteDance, a China está absolutamente dominando os rankings de vídeo com inteligência artificial (IA). Este lançamento compacto (com o perdão do trocadilho) também mostra que escala não é o único caminho para a geração de vídeo de ponta, abrindo uma criatividade eficiente e ilimitada com modelos de vídeo quase SOTA (state-of-the-art) facilmente disponíveis.

Leia também: