Adobe revela sistema de geração de som com IA

Pesquisadores da Adobe acabaram de revelar o MultiFoley, um sistema de inteligência artificial (IA) que gera automaticamente efeitos sonoros de pós-produção sincronizados para vídeos por meio de prompts de texto, áudio de referência ou clipes de áudio existentes.

Os detalhes

• O sistema produz áudio de alta qualidade de 48kHz que sincroniza precisamente com a ação na tela, alcançando uma precisão de sincronização de apenas 0,8 segundos.
• O MultiFoley foi treinado em um conjunto de dados combinado de vídeos da internet e bibliotecas de efeitos sonoros profissionais para permitir a geração de áudio de banda larga completa.
• Os usuários podem transformar sons de forma criativa – por exemplo, transformando o miado de um gato no rugido de um leão – mantendo o tempo com o vídeo.
• O MultiFoley alcança níveis de precisão de sincronização mais altos do que modelos anteriores e é avaliado significativamente mais alto em todas as categorias em um estudo com usuários.

Por que isso importa

Embora os vídeos peculiares de artistas Foley usando todos os tipos de itens para criar áudio personalizado sejam uma parte selvagem da produção de vídeo, o tempo da IA no design de som profissional chegou. Criar trilhas sonoras e efeitos personalizados e sincronizados está prestes a ficar tão fácil quanto digitar para um chatbot – abrindo possibilidades totalmente novas para fluxos de trabalho criativos.

Leia também: