Nova IA bate recorde em benchmark de codificação

A Cosine acaba de apresentar o Genie, seu novo engenheiro de software de inteligência artificial (IA) totalmente autônomo que quebrou o recorde de pontuação em um benchmark para avaliar as habilidades de codificação de grandes modelos de linguagem (LLMs), em mais de 10%.

Os detalhes

• A Cosine treinou o Genie em um conjunto de dados que emula como os engenheiros de software humanos realmente trabalham, desde a descoberta incremental de conhecimento até a tomada de decisões passo a passo.
• Quando comete um erro, o Genie itera, replana e reexecuta até corrigir o problema, algo com o qual os modelos fundamentais lutam.
• O Genie obteve uma pontuação de 30,08% no SWE-Bench, uma melhoria de 57% em relação aos melhores desempenhos anteriores, como o Q e o Code Factory da Amazon, com 19% (o GPT-4 obteve 1,31%).
• A lista de espera está atualmente aberta, mas o Genie ainda não foi lançado para o público em geral.

Por que isso importa

A Cosine está repensando completamente a maneira como a IA é treinada, ensinando-a a ser mais humana durante seu treinamento, em vez de se concentrar no design de prompts pós-treinamento – e funciona! Com seu recente sucesso no SWE-Bench, mais empresas provavelmente adotarão o processo e construirão IAs mais inteligentes, uma vitória para todos.

Leia também: