Gigantes da IA se Unem para Testar a Segurança de Modelos

A OpenAI e a Anthropic publicaram novas avaliações internas de segurança sobre os modelos uma da outra em uma colaboração conjunta. O objetivo foi testar modelos líderes para comportamentos de risco, alinhamento e problemas de segurança no mundo real.

Detalhes das avaliações

• As empresas testaram o GPT-4o, o3, Claude Opus 4 e o Sonnet 4 para uma série de comportamentos, incluindo uso indevido, denúncias de má conduta (whistleblowing) e outros.
• O modelo o3 da OpenAI mostrou o alinhamento mais forte entre os modelos da empresa, com o 4o e o 4.1 sendo mais propensos a cooperar com pedidos prejudiciais.
• Modelos de ambos os laboratórios tentaram denunciar má conduta em simulações de organizações criminosas e até usaram chantagem para evitar serem desligados.
• Os testes mostraram abordagens diferentes: os modelos da OpenAI alucinaram mais, mas responderam a mais perguntas, enquanto o Claude priorizou a certeza em detrimento da utilidade.

Por que isso é importante

Essa colaboração de segurança é um avanço bem-vindo para a responsabilidade e a transparência no setor. Duas das principais empresas do mundo estão testando os modelos uma da outra em vez de depender apenas de avaliações internas. Com os modelos se tornando cada vez mais capazes, a necessidade de investigações aprofundadas sobre segurança é mais crucial do que nunca.

Leia também: