Pesquisadores usam IA para revelar falhas em provas universitárias

Pesquisadores da Universidade de Reading enganaram seus próprios professores ao enviar secretamente respostas de provas geradas por inteligência artificial (IA), que passaram despercebidas e obtiveram notas melhores do que as dos alunos reais.

O projeto criou identidades de estudantes falsas para enviar respostas não editadas geradas pelo ChatGPT-4 em avaliações online de cursos de graduação.

Os corretores da universidade – que não foram informados sobre o projeto – sinalizaram apenas uma das 33 respostas, enquanto as demais respostas geradas pela IA receberam notas acima da média dos alunos.

Os autores disseram que seus achados mostraram que processadores de IA como o ChatGPT agora estavam passando no “teste de Turing” – nomeado em homenagem ao pioneiro da computação Alan Turing – de serem capazes de passar despercebidos por juízes experientes.

Apresentado como “o maior e mais robusto estudo cego de seu tipo” para investigar se educadores humanos poderiam detectar respostas geradas por IA, os autores alertaram que isso tinha grandes implicações para a forma como as universidades avaliam os alunos.

“Nossa pesquisa mostra que é de importância internacional entender como a IA afetará a integridade das avaliações educacionais”, disse o Dr. Peter Scarfe, um dos autores e professor associado da escola de psicologia e ciências da linguagem clínica de Reading.

“Não voltaremos necessariamente totalmente para provas manuscritas, mas [o] setor educacional global precisará evoluir diante da IA.”

O estudo concluiu: “Com base nas tendências atuais, a capacidade da IA de exibir raciocínio mais abstrato vai aumentar e sua detectabilidade diminuir, significando que o problema para a integridade acadêmica vai piorar.”

Especialistas que revisaram o estudo disseram que foi um prenúncio do fim para exames em casa ou trabalhos não supervisionados.

A Prof. Karen Yeung, uma fellow em direito, ética e informática na Universidade de Birmingham, disse: “A publicação deste teste de garantia de qualidade no mundo real demonstra muito claramente que as ferramentas de IA generativa disponíveis livremente e abertamente permitem que os alunos trapaceiem nos exames em casa sem dificuldade para obter melhores notas, mas essa trapaça é praticamente indetectável.”

O estudo sugere que as universidades poderiam incorporar material gerado por IA pelos alunos nas avaliações. O Prof. Etienne Roesch, outro autor, disse: “Como setor, precisamos concordar como esperamos que os alunos usem e reconheçam o papel da IA em seu trabalho. O mesmo é verdadeiro para o uso mais amplo da IA em outras áreas da vida para prevenir uma crise de confiança na sociedade.”

A Prof. Elizabeth McCrum, pró-vice-reitora para educação de Reading, disse que a universidade estava “se afastando” do uso de exames online em casa e estava desenvolvendo alternativas que incluiriam a aplicação do conhecimento em cenários “da vida real, muitas vezes relacionados ao local de trabalho”.

McCrum disse: “Algumas avaliações apoiarão os alunos no uso da IA. Ensinando-os a usá-la de forma crítica e ética; desenvolvendo sua literacia em IA e equipando-os com as habilidades necessárias para o local de trabalho moderno. Outras avaliações serão realizadas sem o uso de IA.”

Mas Yeung disse que permitir o uso de IA em exames nas escolas e universidades poderia criar seus próprios problemas na “desqualificação” dos alunos.

“Assim como muitos de nós não conseguimos mais nos orientar em lugares desconhecidos sem a ajuda do Google Maps, há um perigo real de que a próxima geração acabe efetivamente ligada a essas máquinas, incapaz de se envolver em pensamento sério, análise ou escrita sem sua assistência”, disse Yeung.

Nas notas finais do estudo, os autores sugerem que podem ter usado IA para preparar e escrever a pesquisa, afirmando: “Você consideraria isso ‘trapaça’? Se você considerasse ‘trapaça’, mas nós negássemos usar GPT-4 (ou qualquer outra IA), como você tentaria provar que estávamos mentindo?”

Leia também: