A Tencent acaba de lançar o Hunyuan-Large, um novo modelo de linguagem de código aberto que combina escala com uma arquitetura Mixture-of-Experts (MoE) para alcançar desempenhos comparáveis a rivais como o Llama-405B.
O modelo possui 389 bilhões de parâmetros no total, mas ativa apenas 52 bilhões para eficiência, usando estratégias de roteamento inovadoras e técnicas de taxa de aprendizado. O Hunyuan-Large foi treinado em 7 trilhões de tokens (incluindo 1,5 trilhão de dados sintéticos), permitindo desempenho de ponta em tarefas de matemática, codificação e raciocínio.
O modelo da Tencent alcançou 88,4% no benchmark MMLU, superando os 85,2% do LLama3.1-405B, apesar de usar menos parâmetros ativos. Por meio de técnicas especializadas de treinamento de contexto longo, o modelo também suporta comprimentos de contexto de até 256K tokens, o dobro de rivais semelhantes.
Modelos de código aberto de grande escala continuam a acelerar. Os resultados impressionantes da Tencent com menos parâmetros ativos podem remodelar como pensamos em escalar sistemas – potencialmente oferecendo um caminho mais eficiente em vez de simplesmente tornar os modelos maiores.
Leia também:
Este post foi modificado pela última vez em 6 de novembro de 2024 14:30
A Apple está supostamente dando seus primeiros passos sérios em direção ao desenvolvimento de óculos…
A Apple acaba de começar a lançar novas ferramentas para desenvolvedores para os próximos recursos de reconhecimento…
A startup de inteligência artificial (IA) Physical Intelligence acaba de conseguir US$ 400 milhões em investimentos liderados…
A Anthropic acabou de lançar seu modelo Claude 3.5 Haiku, oferecendo novas melhorias no uso…
A Meta acaba de anunciar que disponibilizará seus modelos de inteligência artificial (IA) Llama para…
A Amazon Prime Video está recebendo um novo recurso alimentado por IA generativa para ajudá-lo…