MLE-bench: Novo benchmark de agente de IA da OpenAI

A OpenAI acaba de introduzir o MLE-bench, um novo benchmark projetado para avaliar o desempenho de agentes de inteligência artificial (IA) em tarefas de engenharia de machine learning no mundo real, utilizando competições do Kaggle.

Os detalhes

• O MLE-bench consiste em 75 competições do Kaggle selecionadas, abrangendo uma variedade de tarefas de ML, como treinamento de modelos, preparação de dados e experimentação.
• As competições do Kaggle são desafios online em que cientistas de dados competem para resolver problemas complexos usando machine learning, buscando prêmios e reconhecimento.
• Nas pesquisas, os modelos de IA geralmente tiveram sucesso ao aplicar técnicas padrão, mas enfrentaram dificuldades em tarefas que exigiam adaptabilidade ou resolução criativa de problemas.
• A configuração de melhor desempenho, o modelo o1-preview da OpenAI com a estrutura AIDE, conquistou pelo menos uma medalha de bronze em 16,9% das competições.

Por que isso importa

Os agentes de IA estão ganhando força — e novos benchmarks são necessários para avaliar suas capacidades que superam as medidas de teste anteriores. Com os comentários da OpenAI, uma onda de startups impulsionando capacidades de agentes, e a criação de novos benchmarks, a revolução dos agentes de IA parece prestes a explodir.

Leia também: