A Nous Research recentemente apresentou o DisTrO, uma nova maneira de treinar grandes modelos de inteligência artificial (IA) que reduz drasticamente a necessidade de uma conexão de internet super rápida, potencialmente permitindo o treinamento em computadores domésticos comuns e conexões de internet.
O DisTrO reduz a quantidade de dados que precisam ser compartilhados entre computadores de 857 a 3000x durante o pré-treinamento e até 10.000x durante o ajuste fino. O método é agnóstico de arquitetura e agnóstico de rede, funcionando com vários tipos de modelos e configurações de rede.
Em testes, o DisTrO treinou com sucesso um modelo de linguagem de 1,2 bilhão de parâmetros com desempenho comparável aos métodos tradicionais. Os pesquisadores sugerem que isso poderia permitir o treinamento de IA descentralizado que poderia ser feito em casa.
Atualmente, o treinamento de modelos de IA de última geração é limitado a grandes empresas de tecnologia com enormes recursos computacionais. O DisTrO poderia democratizar o treinamento de IA, permitindo que pessoas comuns e organizações menores participem do desenvolvimento de IA usando computadores comuns e conexões de internet.
Leia também:
Este post foi modificado pela última vez em %s = human-readable time difference 14:07
O Google DeepMind acaba de apresentar o AlphaQubit, um sistema de inteligência artificial (IA) que…
Um código recém-descoberto na última versão beta do ChatGPT sugere que a OpenAI pode estar…
A empresa chinesa de pesquisa em inteligência artificial (IA), DeepSeek, acaba de lançar o R1-Lite-Preview,…
A OpenAI e a parceira sem fins lucrativos Common Sense Media lançaram um curso de…
Brett Adcock, CEO da Figure, postou uma atualização sobre os robôs humanoides da empresa trabalhando…
A Microsoft acaba de apresentar uma suíte de novos agentes de inteligência artificial (IA) especializados…