A Nous Research recentemente apresentou o DisTrO, uma nova maneira de treinar grandes modelos de inteligência artificial (IA) que reduz drasticamente a necessidade de uma conexão de internet super rápida, potencialmente permitindo o treinamento em computadores domésticos comuns e conexões de internet.
O DisTrO reduz a quantidade de dados que precisam ser compartilhados entre computadores de 857 a 3000x durante o pré-treinamento e até 10.000x durante o ajuste fino. O método é agnóstico de arquitetura e agnóstico de rede, funcionando com vários tipos de modelos e configurações de rede.
Em testes, o DisTrO treinou com sucesso um modelo de linguagem de 1,2 bilhão de parâmetros com desempenho comparável aos métodos tradicionais. Os pesquisadores sugerem que isso poderia permitir o treinamento de IA descentralizado que poderia ser feito em casa.
Atualmente, o treinamento de modelos de IA de última geração é limitado a grandes empresas de tecnologia com enormes recursos computacionais. O DisTrO poderia democratizar o treinamento de IA, permitindo que pessoas comuns e organizações menores participem do desenvolvimento de IA usando computadores comuns e conexões de internet.
Leia também:
Este post foi modificado pela última vez em 2 de setembro de 2024 14:07
O Google está adicionando uma extensão do Google Home ao aplicativo Gemini, permitindo que você…
A Walt Disney está formando um novo grupo para coordenar o uso da empresa de…
A Nvidia acaba de publicar uma nova pesquisa apresentando o HOVER, uma pequena rede neural…
O ChatGPT agora é oficialmente um mecanismo de busca com inteligência artificial (IA). A empresa…
A Ucrânia está usando dezenas de sistemas de inteligência artificial (IA) fabricados localmente para seus…
A Alphabet, dona do Google, anunciou na quinta-feira (31) um conjunto de recursos que incorporam…