Estudo da OpenAI explica por que IAs inventam fatos

A OpenAI publicou um novo estudo que sugere que os sistemas de inteligência artificial (IA) “alucinam” porque os métodos de treinamento atuais recompensam a suposição com confiança, em vez de admitir a incerteza. A descoberta pode abrir caminho para resolver problemas de qualidade na inteligência artificial.

Detalhes do estudo

• Os pesquisadores descobriram que os modelos inventam fatos porque a pontuação dos testes de treinamento dá nota máxima para “chutes” certeiros, mas nota zero para respostas como “não sei”.
• O estudo mostra que isso cria um conflito: modelos treinados para maximizar a precisão aprendem a sempre tentar adivinhar, mesmo quando não têm certeza absoluta da resposta.
• A OpenAI testou essa teoria pedindo aos modelos datas de aniversário e títulos de teses de doutorado. A cada tentativa, eles davam respostas erradas diferentes, mas com total confiança.
• Os pesquisadores propuseram uma reformulação nas métricas de avaliação para penalizar mais severamente os erros dados com confiança do que as respostas que expressam incerteza.

Por que isso é importante

Esta pesquisa pode transformar o problema das “alucinações” em uma questão a ser resolvida diretamente no treinamento. Se os laboratórios de IA começarem a recompensar a honestidade em vez de “chutes” certeiros, poderemos ter modelos que conhecem seus limites — trocando algumas métricas de desempenho por uma confiabilidade que realmente importa quando os sistemas lidam com tarefas críticas.

Leia também: