OpenAI investiga o funcionamento interno da GPT

A OpenAI acaba de publicar um novo artigo detalhando um método para realizar engenharia reversa dos conceitos aprendidos por modelos de IA e, assim, entender melhor o funcionamento interno do ChatGPT.

Conheça os detalhes

• O artigo foi escrito por membros da equipe de “superalinhamento” recentemente dissolvida, incluindo Ilya Sutskever e Jan Leike.
• O trabalho, intitulado “Dimensionamento e Avaliação de Autoencoders esparsos”, descreve uma técnica para identificar padrões que representam conceitos específicos dentro do GPT-4.
• Ao utilizar um modelo adicional para sondar o modelo principal, os pesquisadores encontraram uma maneira de extrair milhões de padrões de atividade para exploração posterior.
• A OpenAI liberou o código-fonte e uma ferramenta de visualização, permitindo que outros explorem como diferentes palavras e frases ativam conceitos dentro dos modelos.

Por que isso importa?

Assim como o recente “Golden Gate Claude” e a pesquisa correspondente da Anthropic, as empresas de IA ainda estão trabalhando para entender o que realmente está acontecendo dentro de seus modelos. Desvendar a “caixa preta” da IA seria um grande passo para melhorar a segurança, o ajuste e a capacidade de controle de modelos que avançam rapidamente.

Leia também: