A OpenAI publicou um novo estudo que sugere que os sistemas de inteligência artificial (IA) “alucinam” porque os métodos de treinamento atuais recompensam a suposição com confiança, em vez de admitir a incerteza. A descoberta pode abrir caminho para resolver problemas de qualidade na inteligência artificial.
PUBLICIDADE
Detalhes do estudo
- Os pesquisadores descobriram que os modelos inventam fatos porque a pontuação dos testes de treinamento dá nota máxima para “chutes” certeiros, mas nota zero para respostas como “não sei”.
- O estudo mostra que isso cria um conflito: modelos treinados para maximizar a precisão aprendem a sempre tentar adivinhar, mesmo quando não têm certeza absoluta da resposta.
- A OpenAI testou essa teoria pedindo aos modelos datas de aniversário e títulos de teses de doutorado. A cada tentativa, eles davam respostas erradas diferentes, mas com total confiança.
- Os pesquisadores propuseram uma reformulação nas métricas de avaliação para penalizar mais severamente os erros dados com confiança do que as respostas que expressam incerteza.
Por que isso é importante
Esta pesquisa pode transformar o problema das “alucinações” em uma questão a ser resolvida diretamente no treinamento. Se os laboratórios de IA começarem a recompensar a honestidade em vez de “chutes” certeiros, poderemos ter modelos que conhecem seus limites — trocando algumas métricas de desempenho por uma confiabilidade que realmente importa quando os sistemas lidam com tarefas críticas.
Leia também:
