A OpenAI acaba de introduzir o MLE-bench, um novo benchmark projetado para avaliar o desempenho de agentes de inteligência artificial (IA) em tarefas de engenharia de machine learning no mundo real, utilizando competições do Kaggle.
PUBLICIDADE
Os detalhes
- O MLE-bench consiste em 75 competições do Kaggle selecionadas, abrangendo uma variedade de tarefas de ML, como treinamento de modelos, preparação de dados e experimentação.
- As competições do Kaggle são desafios online em que cientistas de dados competem para resolver problemas complexos usando machine learning, buscando prêmios e reconhecimento.
- Nas pesquisas, os modelos de IA geralmente tiveram sucesso ao aplicar técnicas padrão, mas enfrentaram dificuldades em tarefas que exigiam adaptabilidade ou resolução criativa de problemas.
- A configuração de melhor desempenho, o modelo o1-preview da OpenAI com a estrutura AIDE, conquistou pelo menos uma medalha de bronze em 16,9% das competições.
Por que isso importa
Os agentes de IA estão ganhando força — e novos benchmarks são necessários para avaliar suas capacidades que superam as medidas de teste anteriores. Com os comentários da OpenAI, uma onda de startups impulsionando capacidades de agentes, e a criação de novos benchmarks, a revolução dos agentes de IA parece prestes a explodir.
Leia também:
