A Nous Research recentemente apresentou o DisTrO, uma nova maneira de treinar grandes modelos de inteligência artificial (IA) que reduz drasticamente a necessidade de uma conexão de internet super rápida, potencialmente permitindo o treinamento em computadores domésticos comuns e conexões de internet.
O DisTrO reduz a quantidade de dados que precisam ser compartilhados entre computadores de 857 a 3000x durante o pré-treinamento e até 10.000x durante o ajuste fino. O método é agnóstico de arquitetura e agnóstico de rede, funcionando com vários tipos de modelos e configurações de rede.
Em testes, o DisTrO treinou com sucesso um modelo de linguagem de 1,2 bilhão de parâmetros com desempenho comparável aos métodos tradicionais. Os pesquisadores sugerem que isso poderia permitir o treinamento de IA descentralizado que poderia ser feito em casa.
Atualmente, o treinamento de modelos de IA de última geração é limitado a grandes empresas de tecnologia com enormes recursos computacionais. O DisTrO poderia democratizar o treinamento de IA, permitindo que pessoas comuns e organizações menores participem do desenvolvimento de IA usando computadores comuns e conexões de internet.
Leia também:
Este post foi modificado pela última vez em 2 de setembro de 2024 14:07
A startup de inteligência artificial (IA) Runway fez um nome para si mesma construindo modelos…
Golpistas estão usando a inteligência artificial (IA) para transformar seus vídeos de redes sociais em…
A 1X desenvolveu seu ‘World Model’, um simulador virtual alimentado por inteligência artificial (IA) para…
A Snap acaba de apresentar seus Spectacles de quinta geração, óculos AR autônomos alimentados pelo…
Um em cada cinco médicos de família (GPs) no Reino Unido está usando ferramentas de…
O governo Biden anunciou na quarta-feira (18) que realizará uma Cúpula Global de Segurança sobre…