A Nous Research recentemente apresentou o DisTrO, uma nova maneira de treinar grandes modelos de inteligência artificial (IA) que reduz drasticamente a necessidade de uma conexão de internet super rápida, potencialmente permitindo o treinamento em computadores domésticos comuns e conexões de internet.
PUBLICIDADE
Os detalhes
O DisTrO reduz a quantidade de dados que precisam ser compartilhados entre computadores de 857 a 3000x durante o pré-treinamento e até 10.000x durante o ajuste fino. O método é agnóstico de arquitetura e agnóstico de rede, funcionando com vários tipos de modelos e configurações de rede.
Em testes, o DisTrO treinou com sucesso um modelo de linguagem de 1,2 bilhão de parâmetros com desempenho comparável aos métodos tradicionais. Os pesquisadores sugerem que isso poderia permitir o treinamento de IA descentralizado que poderia ser feito em casa.
Por que isso importa
Atualmente, o treinamento de modelos de IA de última geração é limitado a grandes empresas de tecnologia com enormes recursos computacionais. O DisTrO poderia democratizar o treinamento de IA, permitindo que pessoas comuns e organizações menores participem do desenvolvimento de IA usando computadores comuns e conexões de internet.
PUBLICIDADE
Leia também:
