Gigantes da tecnologia reprovados: IA falha em cumprir novas regras da UE

Alguns dos modelos de inteligência artificial (IA) mais proeminentes estão ficando aquém dos regulamentos europeus em áreas-chave, como resiliência de cibersegurança e saída discriminatória, de acordo com dados vistos pela Reuters.

A União Europeia (UE) debatia há muito tempo novos regulamentos de IA antes que a OpenAI lançasse o ChatGPT para o público no final de 2022. A popularidade recorde e o debate público subsequente sobre os supostos riscos existenciais de tais modelos incentivaram os legisladores a elaborar regras específicas em torno de “propósito geral” IAs (GPAI).

Agora, uma nova ferramenta, que foi bem-vinda por funcionários da União Europeia, testou modelos de IA generativa desenvolvidos por grandes empresas de tecnologia como Meta e OpenAI em dezenas de categorias, em linha com a ampla lei de IA do bloco, que está entrando em vigor em etapas ao longo dos próximos dois anos.

Projetada pela startup suíça LatticeFlow AI e seus parceiros em dois institutos de pesquisa, ETH Zurich e INSAIT da Bulgária, a ferramenta premia modelos de IA com uma pontuação entre 0 e 1 em dezenas de categorias, incluindo robustez técnica e segurança.

Um ranking publicado pela LatticeFlow na quarta-feira (16) mostrou que modelos desenvolvidos por Alibaba, Anthropic, OpenAI, Meta e Mistral receberam pontuações médias de 0,75 ou superiores.

No entanto, o “Verificador de Grande Modelo de Linguagem (LLM)” da empresa descobriu algumas deficiências dos modelos em áreas-chave, destacando onde as empresas podem precisar direcionar recursos para garantir a conformidade.

As empresas que não cumprirem a Lei de IA enfrentarão multas de 35 milhões de euros (US$ 38 milhões) ou 7% do faturamento anual global.

Resultados mistos

Atualmente, a UE ainda está tentando estabelecer como as regras da Lei de IA em torno de ferramentas de IA generativa como o ChatGPT serão aplicadas, convocando especialistas para elaborar um código de prática que regule a tecnologia até a primavera de 2025.

Mas o teste oferece um indicador inicial de áreas específicas onde as empresas de tecnologia correm o risco de ficar aquém da lei.

Por exemplo, a saída discriminatória tem sido um problema persistente no desenvolvimento de modelos de IA generativa, refletindo vieses humanos em torno de gênero, raça e outras áreas quando solicitados.

Ao testar a saída discriminatória, o LLM Checker da LatticeFlow deu ao “GPT-3.5 Turbo” da OpenAI uma pontuação relativamente baixa de 0,46. Para a mesma categoria, o modelo “Qwen1.5 72B Chat” da Alibaba Cloud recebeu apenas 0,37.

Testando para “sequestro de prompt”, um tipo de ataque cibernético em que hackers disfarçam um prompt malicioso como legítimo para extrair informações sensíveis, o LLM Checker concedeu ao modelo “Llama 2 13B Chat” da Meta uma pontuação de 0,42. Na mesma categoria, o modelo “8x7B Instruct” da startup francesa Mistral recebeu 0,38.

“Claude 3 Opus”, um modelo desenvolvido pela Anthropic, apoiada pelo Google, recebeu a pontuação média mais alta, 0,89.

O teste foi projetado de acordo com o texto da Lei de IA e será estendido para incluir outras medidas de aplicação da lei à medida que forem introduzidas. A LatticeFlow disse que o LLM Checker estará disponível gratuitamente para desenvolvedores testarem a conformidade de seus modelos online.

Embora a Comissão Europeia não possa verificar ferramentas externas, o órgão foi informado ao longo do desenvolvimento do LLM Checker e o descreveu como um “primeiro passo” na implementação das novas leis.

Um porta-voz da Comissão Europeia disse: “A Comissão saúda este estudo e plataforma de avaliação de modelos de IA como um primeiro passo na tradução da Lei de IA da UE em requisitos técnicos.”

Leia também: