Nvidia e Mistral criam IA pronta para laptop

Publicado por

Isabella Caminoto

23 de agosto de 2024 09:33

A Nvidia e a Mistral acabaram de lançar o Mistral-NeMo-Minitron 8B, um modelo de linguagem pequeno e altamente preciso que pode rodar eficientemente em laptops e PCs.

Os detalhes

O modelo utiliza técnicas de otimização como poda (remoção de certos pesos) e destilação (re-treinamento do modelo podado em um pequeno conjunto de dados) para alcançar alta precisão com um tamanho menor.

Essas otimizações resultaram em uma economia de até 40 vezes em termos de computação bruta durante o treinamento.

Laptops e PCs podem executar o modelo localmente para interações mais rápidas e seguras com a inteligência artificial (IA).

O Minitron 8B lidera nove benchmarks de IA orientados por linguagem para modelos de tamanho semelhante, desde compreensão de linguagem até raciocínio e codificação.

Por que isso importa

Modelos de IA pequenos o suficiente para rodar localmente em laptops e PCs significam menos dependência de serviços em nuvem, melhor privacidade de dados e respostas mais rápidas. À medida que essa tecnologia evolui, poderemos em breve ver IA avançada em tudo, de smartphones e relógios a eletrodomésticos.

Leia também:

Parceria inédita garante futuro do jornalismo na Califórnia; entenda

Este post foi modificado pela última vez em %s = human-readable time difference 09:34

Isabella Caminoto

Advogada e mestranda em Direito Internacional, tenho a democracia e a liberdade como bandeiras irrenunciáveis. Sou apaixonada pelos animais e acredito que o bem-estar do nosso planeta deveria ser o destaque diário da pauta da nossa sociedade.