IA ainda enfrenta dificuldades com a depuração de software; revela estudo

Uma pesquisa da Microsoft Research revelou que agentes de inteligência artificial (IA) – mesmo aqueles impulsionados pelos modelos mais avançados disponíveis – ainda lutam com a maioria das tarefas de depuração de software que programadores humanos resolvem rotineiramente.

Detalhes do estudo

• A Microsoft utilizou nove LLMs (Large Language Models), incluindo o Claude 3.7 Sonnet, para impulsionar um “agente baseado em um único prompt” encarregado de 300 problemas de depuração do SWE-bench Lite.
• No teste, o agente teve dificuldades para concluir metade das tarefas atribuídas, mesmo utilizando modelos de ponta que se destacam na codificação como base.
• Com ferramentas de depuração, o 3.7 Sonnet teve o melhor desempenho, resolvendo 48,4% dos problemas, seguido pelo o1 e o3-mini da OpenAI, com taxas de sucesso de 30,2% e 22,1%, respectivamente.
• A equipe descobriu que a lacuna de desempenho se deve à falta de dados de tomada de decisão sequencial (rastreamentos de depuração humana) no corpus de treinamento dos LLMs.

Por que isso é importante

Enquanto investidores e executivos de empresas como Google e Meta continuam a investir bilhões em agentes de codificação de IA, este estudo serve como um lembrete da realidade do estado atual. Apesar do progresso impressionante na geração de código, a IA ainda fica significativamente aquém na depuração, uma das habilidades mais cruciais da programação.

Leia também: