Inteligência Artificial

OpenAI reinventa padrão para avaliação de código

Publicado por
Isabella Caminoto

A OpenAI e os autores do SWE-bench colaboraram para redesenhar o popular benchmark de engenharia de software e lançar o ‘SWE-bench Verified’, um subconjunto validado por humanos do benchmark original.

Os detalhes

O SWE-bench Verified aborda problemas do benchmark original, como testes unitários excessivamente específicos e ambientes de desenvolvimento não confiáveis que levam a avaliações incorretas do desempenho da IA. O novo subconjunto inclui 500 amostras verificadas por desenvolvedores de software profissionais humanos para tornar a avaliação de modelos no SWE-bench mais fácil e confiável. No SWE-bench Verified, o GPT-4o resolve 33,2% das amostras, e o melhor scaffold de código aberto, Agentless, dobra sua pontuação anterior para 16%. A tabela de classificação para o SWE-bench Verified não inclui o Genie da Cosine, sobre o qual escrevemos ontem, que quebrou a pontuação mais alta no antigo benchmark em mais de 10%.

Por que isso importa

a avaliação precisa da IA em tarefas de nível humano, como codificação, é crucial para a transparência e a avaliação do risco da IA. No entanto, a colaboração da OpenAI com o SWE-bench é uma faca de dois gumes – embora melhore o benchmark, também levanta questões sobre potenciais conflitos de interesse, especialmente com os rumores do ‘Projeto Strawberry’ esquentando.

Leia também:

Este post foi modificado pela última vez em %s = human-readable time difference 13:32

Isabella Caminoto

Advogada e mestranda em Direito Internacional, tenho a democracia e a liberdade como bandeiras irrenunciáveis. Sou apaixonada pelos animais e acredito que o bem-estar do nosso planeta deveria ser o destaque diário da pauta da nossa sociedade.

Posts recentes

DeepMind dá um salto gigante na computação quântica com o AlphaQubit

O Google DeepMind acaba de apresentar o AlphaQubit, um sistema de inteligência artificial (IA) que…

21 de novembro de 2024

ChatGPT está mais perto de lançar sua IA visual

Um código recém-descoberto na última versão beta do ChatGPT sugere que a OpenAI pode estar…

21 de novembro de 2024

DeepSeek revela poderosa IA de raciocínio; veja

A empresa chinesa de pesquisa em inteligência artificial (IA), DeepSeek, acaba de lançar o R1-Lite-Preview,…

21 de novembro de 2024

OpenAI lança curso gratuito de IA para professores

A OpenAI e a parceira sem fins lucrativos Common Sense Media lançaram um curso de…

20 de novembro de 2024

Robôs da Figure transformam produção da BMW; saiba como

Brett Adcock, CEO da Figure, postou uma atualização sobre os robôs humanoides da empresa trabalhando…

20 de novembro de 2024

Microsoft revela agentes de IA especializados e ferramentas de automação

A Microsoft acaba de apresentar uma suíte de novos agentes de inteligência artificial (IA) especializados…

20 de novembro de 2024