Pesquisadores identificam nova vulnerabilidade em modelos de linguagem grande (LLMs)

Um grupo de pesquisadores da Anthropic descobriu uma nova técnica de “desvio de segurança” chamada “many-shot jailbreaking” (quebra de proteção em vários disparos). Essa técnica explora as janelas de contexto expandidas para driblar as proteções de segurança em modelos de linguagem grande (LLMs).

Entenda como funciona:

• Enganando o sistema: O “many-shot jailbreaking” funciona através da inserção de uma série de diálogos simulados na entrada de dados. Esses diálogos exploram a capacidade dos LLMs de aprender com o contexto.
• Quantidade é (perigosamente) importante: Quanto mais diálogos (ou “disparos”) forem incluídos no prompt, maior a chance de se obter uma resposta prejudicial do modelo.
• Aprendizado no contexto: A eficácia dessa técnica está ligada ao processo de “aprendizado no contexto”, onde os LLMs usam o contexto do prompt para gerar respostas.
• Corrida contra o tempo: A Anthropic já comunicou essa vulnerabilidade a outros pesquisadores e empresas de IA. Atualmente, eles trabalham ativamente em estratégias de mitigação para fechar essa brecha de segurança.

🇬🇧 Subscribe to the best newsletter about AI (in English 🇬🇧) 

🇧🇷 Assine a melhor newsletter sobre IA (em português 🇧🇷)

Por que isso importa?

A descoberta do “many-shot jailbreaking” destaca a faca de dois gumes das janelas de contexto expandidas em LLMs. Por um lado, entradas mais longas e o aprendizado no contexto tornam os modelos mais úteis. Por outro lado, esses mesmos recursos também abrem caminho para novos tipos de vulnerabilidades.

É importante que pesquisadores e empresas de inteligência artificial trabalhem em conjunto para desenvolver LLMs cada vez mais robustos e seguros.

Leia também: