Startup de IA alcança 100 milhões de tokens de contexto

A Magic acaba de desenvolver o LTM-2-mini, um modelo capaz de processar 100 milhões de tokens de contexto – equivalente a cerca de 10 milhões de linhas de código ou 750 romances – e fez parceria com a Google Cloud para construir supercomputadores de inteligência artificial (IA) avançados.

Os detalhes

• O LTM-2-mini pode processar e entender 100 milhões de tokens de contexto fornecidos durante a inferência, superando os modelos atuais em 50x.
• O algoritmo inovador do modelo processa sequências longas de dados 1000x mais eficientemente do que os principais modelos de IA atualmente.
• A Magic também está fazendo parceria com a Google Cloud para construir supercomputadores alimentados pelas GPUs mais recentes e avançadas da Nvidia.
• A empresa arrecadou mais de US$ 450 milhões em financiamento total, incluindo uma recente rodada de investimento de US$ 320 milhões.

Por que isso importa

Esse avanço no comprimento do contexto permite que agentes de IA processem e raciocinem sobre bases de código densas e complicadas, vastos bancos de dados e anos de histórico de conversa em uma única inferência. É um passo significativo em direção à criação de assistentes de IA com memória e recall quase perfeitos.

Leia também: