Modelos de IA evitam admitir que não sabem a resposta, revela estudo

Um estudo publicado na revista Nature revelou que, à medida que os modelos de linguagem de IA (LLMs) avançam, eles têm menos chance de admitir quando não sabem responder.

Pesquisadores da Universitat Politècnica de València, na Espanha, testaram os modelos BLOOM, Llama e GPT para verificar a precisão de suas respostas em matemática, ciências e geografia, com milhares de perguntas. As respostas foram classificadas como corretas, incorretas ou evasivas.

Honestidade dos modelos de IA em queda

• O estudo mostrou que, embora a precisão em questões mais difíceis tenha melhorado, esses modelos são menos transparentes sobre sua capacidade de responder.
• Versões anteriores costumavam admitir quando não sabiam ou precisavam de mais informações. Agora, os modelos tendem a arriscar, podendo errar em perguntas simples.
• Mesmo dominando problemas complexos, os LLMs ainda cometem erros em questões básicas.
• “A confiabilidade total não é alcançada nem em níveis de dificuldade muito baixos”, apontou o estudo.

Por exemplo, o GPT-4 apresentou menos respostas evasivas em comparação ao GPT-3.5, mas não superou as expectativas de evitar respostas fora de sua capacidade. Os pesquisadores concluíram que, apesar dos avanços, não houve uma melhoria significativa nesse aspecto.

Leia também: