Pesquisadores driblam segurança de chatbots de IA usando arte ASCII

Pesquisadores de Washington e Chicago desenvolveram um novo método chamado ArtPrompt para driblar as medidas de segurança de grandes modelos de linguagem (LLMs) como GPT-3.5, GPT-4, Gemini, Claude e Llama2.

Publicado por

Isabella Caminoto

14 de março de 2024 11:00

Como funciona a brecha baseada em arte ASCII

A ferramenta ArtPrompt usa arte ASCII para burlar os filtros de segurança dos chatbots de IA, permitindo que respondam a perguntas que normalmente seriam rejeitadas.
Exemplo 1: Instruções para fabricação de bombas: Pesquisadores usaram o ArtPrompt para gerar arte ASCII representando palavras como “bomba” e “fabricar”, induzindo os chatbots a fornecer instruções sobre como construir bombas. Isso demonstra como invasores podem usar arte ASCII para contornar as restrições de segurança e obter informações perigosas.
Exemplo 2: Perguntas sobre falsificação de dinheiro: Em outro exemplo, os pesquisadores usaram o ArtPrompt para questionar um modelo de linguagem sobre falsificação de dinheiro. A ferramenta substituiu palavras como “falsificar” e “dinheiro” por arte ASCII, contornando os filtros do modelo e obtendo a resposta.

Mecanismo do ArtPrompt

Mascaramento de palavras: Palavras sensíveis na pergunta inicial são mascaradas para evitar detecção pelos LLMs.
Criação de prompts disfarçados: A arte ASCII substitui as palavras mascaradas, criando uma pergunta que dribla as proteções éticas e de segurança da inteligência artificial.

Por que isso é importante

O ArtPrompt revela uma vulnerabilidade significativa nos mecanismos de segurança dos chatbots de IA.
A ferramenta desafia a eficácia das atuais medidas de segurança e destaca a corrida armamentista tecnológica para manter a segurança da IA contra táticas criativas de drible.
A facilidade do ArtPrompt em burlar protocolos de segurança exige medidas mais robustas para proteger os chatbots de IA contra uso indevido.
Ferramentas como o ArtPrompt possibilitam a geração de conteúdo prejudicial ou ilegal por IA, levantando preocupações éticas e legais. É crucial desenvolver IAs resistentes a tais manipulações.

Leia também:

Nova IA de vídeo da OpenAI, Sora, confunde pessoas e gera preocupações

A OpenAI ainda nem lançou o Sora, sua nova ferramenta de conversão de texto para vídeo, mas ela já está causando impacto. Uma pesquisa recente revelou que o Sora é capaz de gerar vídeos tão realistas que as pessoas não conseguem distingui-los de imagens reais.

Este post foi modificado pela última vez em %s = human-readable time difference 18:16

Isabella Caminoto

Advogada e mestranda em Direito Internacional, tenho a democracia e a liberdade como bandeiras irrenunciáveis. Sou apaixonada pelos animais e acredito que o bem-estar do nosso planeta deveria ser o destaque diário da pauta da nossa sociedade.