ChatGPT é bom em humanas mas desliza nas exatas; entenda o teste feito com prova do Enem

A análise considerou a pontuação de cada curso e mostrou que a inteligência artificial teria um bom desempenho no Enem, porém seu desempenho em matemática foi considerado baixo, obtendo uma média de 443,1 pontos, abaixo dos 527,1 de média dos candidatos humanos. Em contrapartida, as ciências humanas, curiosamente, foram tiradas de letra pela tecnologia. Na simulação, a média da IA foi de 725,3, superior à de 523,3 pontos dos concorrentes reais.

Metodologia usou provas do Enem dos últimos cinco anos

A avaliação do ChatGPT foi baseada em respostas da IA em provas realizadas nos últimos cinco anos, respondendo a 1.290 questões. A metodologia usada no teste foi a Teoria de Resposta ao Item. Esse modelo matemático adotado pelo Enem prevê itens calibrados conforme parâmetros de discriminação, dificuldade e probabilidade de acerto casual, como narrado pela DeltaFolha. 

A Folha calculou a nota final do ChatGPT, utilizando a análise padrão do Inep, em que a máquina respondeu a cada pergunta apenas uma vez, sem exemplos prévios, indicando a alternativa que julgava correta.

Embora tenha se destacado em ciências humanas e linguagens e códigos, o ChatGPT apresentou baixo desempenho em matemática, o que pode ser um obstáculo para o ingresso em cursos disputados das principais universidades federais do país. Mesmo assim, a IA obteve uma nota média de 608,7 no Enem, melhor do que a obtida por 79% dos alunos naquele ano, quando somada à nota da redação.

Leia também: