A Nvidia e a Mistral acabaram de lançar o Mistral-NeMo-Minitron 8B, um modelo de linguagem pequeno e altamente preciso que pode rodar eficientemente em laptops e PCs.
PUBLICIDADE
Os detalhes
O modelo utiliza técnicas de otimização como poda (remoção de certos pesos) e destilação (re-treinamento do modelo podado em um pequeno conjunto de dados) para alcançar alta precisão com um tamanho menor.
Essas otimizações resultaram em uma economia de até 40 vezes em termos de computação bruta durante o treinamento.
Laptops e PCs podem executar o modelo localmente para interações mais rápidas e seguras com a inteligência artificial (IA).
PUBLICIDADE
O Minitron 8B lidera nove benchmarks de IA orientados por linguagem para modelos de tamanho semelhante, desde compreensão de linguagem até raciocínio e codificação.
Por que isso importa
Modelos de IA pequenos o suficiente para rodar localmente em laptops e PCs significam menos dependência de serviços em nuvem, melhor privacidade de dados e respostas mais rápidas. À medida que essa tecnologia evolui, poderemos em breve ver IA avançada em tudo, de smartphones e relógios a eletrodomésticos.
Leia também:
