AI21 Labs revela Jamba de código aberto; saiba mais

AI21 Labs acaba de lançar o Jamba, um modelo de IA de código aberto que mescla a arquitetura Mamba Structured State Space (SSM) com componentes da arquitetura de transformador tradicional, criando um poderoso sistema híbrido.

Publicado por

Juliana Caminoto

31 de março de 2024 19:54

AI21 Labs/ Jamba

Jamba, com sua notável janela de contexto de 256K, equivalente a aproximadamente 105.000 palavras ou 210 páginas, destaca-se como um avanço significativo. Este modelo oferece um processamento três vezes mais rápido em contextos longos em comparação com modelos de tamanho semelhante baseados em transformadores.

Sua eficiência é impressionante, necessitando apenas de uma única GPU com 80 GB de memória para operar, apesar da vasta extensão de sua janela de contexto. Isso representa um marco importante, tornando-o acessível e viável mesmo para configurações de hardware mais modestas.

Os pesos do Jamba estão prontamente disponíveis no HuggingFace, permitindo fácil acesso e implementação para aqueles interessados em explorar suas capacidades. Essa disponibilidade promete estimular ainda mais o desenvolvimento e a inovação na área de processamento de linguagem natural.

Leia também:

Google.org lança programa acelerador de IA generativa de US$ 20 milhões

Google.org, braço de caridade do Google, está lançando um novo programa para ajudar a financiar organizações sem fins lucrativos que desenvolvem tecnologia que aproveita a IA generativa.

Este post foi modificado pela última vez em %s = human-readable time difference 19:54

Juliana Caminoto

Advogada com especialização em compliance e auditoria, estou sempre conectada às redes sociais e em busca de novos desafios. Sou mãe de pet e amo viajar.