AI21 Labs acaba de lançar o Jamba, um modelo de IA de código aberto que mescla a arquitetura Mamba Structured State Space (SSM) com componentes da arquitetura de transformador tradicional, criando um poderoso sistema híbrido.
AI21 Labs/ Jamba
Jamba, com sua notável janela de contexto de 256K, equivalente a aproximadamente 105.000 palavras ou 210 páginas, destaca-se como um avanço significativo. Este modelo oferece um processamento três vezes mais rápido em contextos longos em comparação com modelos de tamanho semelhante baseados em transformadores.
Sua eficiência é impressionante, necessitando apenas de uma única GPU com 80 GB de memória para operar, apesar da vasta extensão de sua janela de contexto. Isso representa um marco importante, tornando-o acessível e viável mesmo para configurações de hardware mais modestas.
Os pesos do Jamba estão prontamente disponíveis no HuggingFace, permitindo fácil acesso e implementação para aqueles interessados em explorar suas capacidades. Essa disponibilidade promete estimular ainda mais o desenvolvimento e a inovação na área de processamento de linguagem natural.
Leia também:
Este post foi modificado pela última vez em 31 de março de 2024 19:54
A inteligência artificial (IA) está transformando rapidamente a medicina. Sistemas capazes de analisar exames de…
A Organização Mundial da Saúde reuniu ministros, autoridades governamentais e especialistas de 37 países em…
A inteligência artificial (IA) já começa a transformar hospitais, consultórios e sistemas de saúde, assumindo…
A OpenAI apresentou oficialmente o GPT-5.6, sua mais nova geração de modelos de inteligência artificial…
A OpenAI deu um passo que pode redefinir o equilíbrio de poder no setor de…
Um dos maiores desafios da medicina moderna está nos chamados "casos sem resposta": pacientes que…