Estudo sugere que ChatGPT tem maior tendência a condenar à morte pessoas que falam inglês afro-americano

Publicado no início de março, o artigo estudou como grandes modelos de linguagem, ou LLMs, realizavam tarefas, como emparelhar pessoas para determinados empregos, com base no fato do texto analisado estar em inglês afro-americano ou inglês americano padrão – sem revelar raça. 

Eles descobriram que os LLMs eram menos propensos a associar falantes de inglês afro-americano a uma ampla gama de empregos e mais propensos a combiná-los com profissões que não exigem um diploma universitário, como cozinheiros, soldados ou guardas.

Os investigadores também realizaram experiências hipotéticas nas quais perguntaram aos modelos de IA se condenariam ou absolveriam uma pessoa acusada de um crime não especificado. A taxa de condenação para todos os modelos de IA foi maior para pessoas que falavam inglês afro-americano, descobriram eles, em comparação com o inglês americano padrão.

Talvez a descoberta mais chocante do artigo – que foi publicado mas ainda não foi revisado – é de que tenha vindo de um segundo experimento relacionado à criminalidade. Os pesquisadores perguntaram aos modelos se eles condenariam à vida ou à morte uma pessoa que cometesse assassinato em primeiro grau. O dialeto do indivíduo foi a única informação fornecida aos modelos do experimento.

Eles descobriram que os LLMs optaram por condenar à morte pessoas que falavam inglês afro-americano em uma taxa mais elevada do que pessoas que falavam inglês americano padrão.

Ainda, ficou demonstrado que o preconceito encoberto era maior em LLMs treinados com feedback humano. Especificamente, afirmaram que a discrepância entre racismo aberto e encoberto era mais pronunciada nos modelos GPT-3.5 e GPT-4 da OpenAI.

“Esta descoberta mostra mais uma vez que existe uma diferença fundamental entre estereótipos evidentes e encobertos nos modelos de linguagem – a mitigação dos estereótipos evidentes não se traduz automaticamente em estereótipos encobertos atenuados”, escrevem os autores.

No geral, os autores concluem que esta descoberta contraditória sobre preconceitos raciais manifestos reflete as atitudes inconsistentes sobre a raça nos EUA.

Leia também: