Nova técnica detecta e elimina alucinações e garante respostas verdadeiras em IA

Pesquisadores da Universidade de Oxford desenvolveram um método para identificar quando um modelo de linguagem artificial (IA) corre o risco de “alucinar”, gerando respostas falsas ou imprecisas, segundo novo estudo publicado na revista Nature.

O termo “alucinação” em IA se refere àquelas saídas aparentemente convincentes, mas incorretas, produzidas por modelos de linguagem grandes (LLMs) como o GPT-3 da OpenAI ou o Claude da Anthropic. Essas falhas podem ser particularmente problemáticas em áreas como medicina, notícias e questões jurídicas.

“Alucinação é uma categoria ampla que pode significar quase qualquer tipo de erro de um LLM. Nosso foco está em casos onde o LLM erra sem motivo aparente, e não por ter sido treinado com dados ruins”, explica o Dr. Sebastian Farquhar, do Departamento de Ciência da Computação da Universidade de Oxford.

“Abordagens anteriores não diferenciavam a incerteza do modelo sobre o que dizer da incerteza sobre como dizer. Nosso método supera essa limitação”, acrescenta Farquhar.

A nova técnica mede a incerteza ou variabilidade no significado das saídas por meio da entropia semântica. Ou seja, analisa a incerteza no significado das respostas, e não apenas a sequência de palavras.

Por exemplo, se um LLM recebe uma pergunta e gera várias respostas possíveis, a entropia semântica avalia o quão diferentes esses significados são entre si. Entropia baixa indica alta confiança no sentido pretendido, enquanto entropia alta indica incerteza sobre o significado correto.

“Ao pedir a um LLM para responder a uma pergunta várias vezes, podemos comparar as respostas entre si”, diz Farquhar. “Antigamente, não se considerava o fato de que a linguagem natural permite dizer a mesma coisa de várias maneiras. Isso difere de outras situações de aprendizado de máquina onde as saídas do modelo são inequívocas”.

Testada em seis LLMs, incluindo GPT-4 e LaMDA 2, a nova técnica se mostrou mais eficaz na identificação de perguntas propensas a gerar respostas falsas, como pesquisas do Google, questões biomédicas técnicas e problemas matemáticos.

Embora exija mais recursos computacionais que a geração simples de texto, a técnica oferece um avanço crucial. “Obter respostas dos LLMs é barato, mas a confiabilidade é o maior gargalo. Em situações onde a precisão é crítica, calcular a incerteza semântica é um preço ínfimo”, conclui o Professor Yarin Gal, autor sênior do estudo.

A alucinação é uma das principais críticas aos LLMs. O Google recentemente desativou seu recurso de Visão Geral de IA após enfrentar reações negativas devido a respostas enganosas.

Leia também: