Laboratório de IA de Xangai cria LLM que rivaliza GPT-4 em matemática

Pesquisadores do Laboratório de IA de Xangai desenvolveram recentemente um novo algoritmo chamado MCT Self-Refine, que permitiu a um modelo relativamente pequeno, com 8 bilhões de parâmetros, alcançar o desempenho do GPT-4 em matemática complexa.

Como funciona

O MCT Self-Refine combina um modelo LLaMa de 8 bilhões de parâmetros com a Busca por Árvore de Monte Carlo, uma técnica de inteligência artificial (IA) famosa por ter sido usada pelo DeepMind do Google para dominar o jogo de Go.

O algoritmo constrói uma árvore de busca, refinando as respostas por meio de uma série de processos e autoavaliação.

No benchmark de problemas matemáticos verbais GSM-Hard, a adição da Busca por Árvore de Monte Carlo elevou a precisão do modelo de 8 bilhões de parâmetros de 25,5% para 45,5%.

O modelo também alcançou 96,7% no benchmark GSM8K, superando modelos significativamente maiores como GPT-4, Claude e Gemini.

Por que isso importa

A pesquisa demonstra que é possível impulsionar as capacidades matemáticas sem a necessidade de uma escala massiva. Alcançar o desempenho do GPT-4 com um modelo treinado em 200 vezes menos parâmetros é um feito impressionante. Se a abordagem se provar um caminho mais eficiente para o raciocínio avançado, poderemos estar à beira de uma nova onda de aceleração de modelos.

Leia também: