Chatbots fornecem informações falsas pelo menos 3% das vezes; veja comparação entre IAs

A Vectara, uma nova startup fundada por ex-funcionários do Google, está pesquisando a frequência com que os chatbots se desviam da verdade. A pesquisa da empresa sugere que os chatbots inventam informações pelo menos 3% das vezes. Essa taxa pode ser ainda mais alta quando os chatbots realizam tarefas mais complexas do que apenas resumir informações.

Especialistas chamam esse comportamento de “alucinação” do chatbot. Embora possa não ser um problema para uso casual em computadores pessoais, é uma preocupação séria ao lidar com documentos legais, informações médicas e dados comerciais sensíveis.

A pesquisa revelou que as taxas de alucinação variam amplamente entre as principais empresas de IA. A tecnologia da OpenAI tinha a taxa mais baixa, em torno de 3%, enquanto os sistemas da Meta, dona do Facebook e do Instagram, ficavam em torno de 5%. O sistema Claude 2 da Anthropic, uma rival da OpenAI, superou 8%. O sistema do Google, Palm Chat, teve a taxa mais alta, de 27%.

A pesquisa da Vectara mostrou que, ao resumir artigos de notícias, os chatbots não repetem informações falsas encontradas na internet, mas cometem erros ao resumir. As empresas estão trabalhando para melhorar a precisão de suas tecnologias, mas a alucinação dos chatbots continua sendo um desafio a ser superado, pois eles operam com base em probabilidades e padrões nos dados.

Veja também: