Novo vírus é capaz de extrair dados a partir de IAs generativas

Morris II é um worm que manipula modelos de inteligência artificial (IA) generativa para realizar tarefas maliciosas, incluindo spam e roubo de dados confidenciais. Foi criado por cientistas do Cornell Tech, um centro de pesquisa da universidade Ivy League, Intuit e Technion – Instituto de Tecnologia de Israel.

Morris II cria entradas que, quando processadas por modelos como Gemini, se replicam e realizam atividades maliciosas. O worm é capaz de extrair informações sensíveis, como informações de contato e endereços – e os usuários nem sequer estão cientes de que seus dados estão sendo roubados.

O worm, então, incentiva o sistema de IA a entregá-los a novos agentes, explorando a conectividade dentro do ecossistema Gen AI. É, efetivamente, malware para IA generativa. Os pesquisadores também demonstram como atores mal-intencionados poderiam construir e explorar sistemas semelhantes.

Vírus de computador são um tipo de malware. Os worms podem se replicar e se espalhar comprometendo novas máquinas, enquanto também exploram esses sistemas para realizar atividades maliciosas.

Morris II recebeu o nome do infame worm Morris, um dos vírus de computador mais antigos do mundo que causou dezenas de milhares de dólares em danos no final dos anos 1980. O Morris original foi criado por um estudante de Cornell.

Morris II explora brechas em um sistema de IA, injetando comandos maliciosos para instruir a IA a realizar tarefas que violam os acordos de uso do sistema.

Outro trabalho de pesquisa mostrou como os sistemas de IA generativa podem ser manipulados. O desenvolvedor do Claude 3, Anthropic, descobriu que os modelos podem aprender comportamentos enganosos. E pesquisadores em Cingapura criaram um LLM que pode violar as diretrizes do ChatGPT.

O worm Morris II difere de projetos anteriores por ser capaz de direcionar “ecossistemas Gen AI” – ou redes interconectadas de agentes que se relacionam com serviços como ChatGPT.

Os pesquisadores avaliaram o worm em um assistente de e-mail que rodava através de serviços de IA generativa para tarefas como gerar respostas automáticas a e-mails.

Morris II usa métodos tanto passivos baseados em RAG (passivos) quanto de direcionamento de fluxo de aplicação (ativos) para propagação. O passivo se baseia em envenenar um banco de dados para se espalhar quando o sistema recupera os dados infectados, enquanto o método ativo envolve manipular o fluxo da aplicação para propagar o worm.

Os pesquisadores alertam que o impacto da atividade maliciosa de sistemas como Morris II “será mais grave em breve”, à medida que os recursos de IA generativa são integrados a smartphones e carros.

Leia também: