Anthropic identifica riscos de sabotagem em modelos de IA avançados

Publicado por

Isabella Caminoto

22 de outubro de 2024 09:00

A Anthropic acaba de publicar um conjunto de novas avaliações destinadas a detectar potenciais capacidades de sabotagem em sistemas avançados de inteligência artificial (IA), focando em riscos que podem surgir se os modelos tentarem subverter a supervisão humana ou a tomada de decisões.

Os detalhes

Quatro novas avaliações foram desenvolvidas: sabotagem de decisão humana, sabotagem de código, sabotagem (ocultando capacidades) e minando a supervisão.
As avaliações usam cenários simulados para testar a capacidade dos modelos de manipular e enganar humanos, inserir bugs no código e minar sistemas de monitoramento.
Os testes foram realizados nos modelos Claude 3 Opus e Claude 3.5 Sonnet, que não sinalizaram resultados preocupantes, mas mostraram a capacidade de sabotagem.
A Anthropic está abrindo o código das avaliações e disse que serão necessárias medidas de mitigação mais fortes contra sabotagem à medida que a IA continuar a melhorar.

Por que isso importa

A pesquisa da Anthropic mostra que a IA não é muito boa em sabotar humanos… ainda. Mas as capacidades estão lá em alguma capacidade – e se a aceleração do modelo continuar como muitos pensam que será, é apenas uma questão de tempo antes que essas ameaças sejam reais e importantes de mitigar.

Leia também:

Meta revela novos modelos e ferramentas de IA

Este post foi modificado pela última vez em %s = human-readable time difference 15:52

Isabella Caminoto

Advogada e mestranda em Direito Internacional, tenho a democracia e a liberdade como bandeiras irrenunciáveis. Sou apaixonada pelos animais e acredito que o bem-estar do nosso planeta deveria ser o destaque diário da pauta da nossa sociedade.