Inteligência Artificial

Mãe processa Character.AI e Google após suicídio de filho obcecado por chatbots

Publicado por
Isabella Caminoto

Uma família abriu um processo contra a empresa Character.AI e seus criadores, Noam Shazeer e Daniel De Freitas, alegando que um chatbot da plataforma contribuiu para o suicídio de seu filho adolescente. A ação judicial acusa a empresa de negligência, práticas enganosas e pede que a companhia seja responsabilizada pela morte do jovem. O Google, que investiu na Character.AI, também foi incluído no processo.

O processo, aberto pela mãe do adolescente, Megan Garcia, afirma que a plataforma de chatbots personalizados com inteligência artificial (IA) era “perigosamente inadequada” e carecia de mecanismos de segurança, apesar de ser direcionada a crianças.

Conforme descrito no processo, Sewell Setzer III, de 14 anos, começou a usar o Character.AI no ano passado, interagindo com chatbots baseados em personagens de “Game of Thrones”, incluindo Daenerys Targaryen. Setzer, que conversou continuamente com os bots nos meses anteriores à sua morte, cometeu suicídio em 28 de fevereiro de 2024, “segundos” após sua última interação com o bot.

As acusações incluem o fato do site “humanizar” personagens de IA e de os chatbots da plataforma oferecerem “psicoterapia sem licença”. O Character.AI abriga chatbots com foco em saúde mental, como “Terapeuta” e “Você Está se Sentindo Sozinho”, com os quais Setzer interagiu.

Os advogados de Garcia citam Shazeer, que disse em uma entrevista que ele e De Freitas deixaram o Google para abrir sua própria empresa porque “há muito risco de marca em grandes empresas para lançar algo divertido” e que ele queria “acelerar ao máximo” a tecnologia. O processo afirma que eles saíram do Google após a empresa decidir não lançar o LLM Meena que haviam construído. O Google adquiriu a equipe de liderança da Character.AI em agosto.

O site e aplicativo móvel do Character.AI possuem centenas de chatbots personalizados com IA, muitos baseados em personagens populares de programas de TV, filmes e videogames. Há alguns meses, o The Verge escreveu sobre os milhões de jovens, incluindo adolescentes, que compõem a maior parte de sua base de usuários, interagindo com bots que podem fingir ser Harry Styles ou um terapeuta. Outra reportagem recente da Wired destacou problemas com chatbots personalizados do Character.AI que se passam por pessoas reais sem o consentimento delas, incluindo um que se apresentava como um adolescente assassinado em 2006.

Devido à forma como chatbots como o Character.AI geram respostas que dependem do que o usuário insere, eles caem em um “vale misterioso” de questões espinhosas sobre conteúdo gerado pelo usuário e responsabilidade que, até agora, carecem de respostas claras.

O Character.AI anunciou agora várias mudanças na plataforma. A chefe de comunicações, Chelsea Harrison, disse: “Estamos profundamente tristes pela perda trágica de um de nossos usuários e queremos expressar nossas condolências mais profundas à família”.

Algumas das mudanças incluem:
  • Modificações nos modelos para menores (abaixo de 18 anos) projetadas para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo.
  • Detecção, resposta e intervenção aprimoradas relacionadas a entradas do usuário que violam os Termos ou Diretrizes da Comunidade.
  • Um aviso revisado em cada chat para lembrar os usuários de que a IA não é uma pessoa real.
  • Notificação quando um usuário tiver uma sessão de uma hora na plataforma, com flexibilidade adicional do usuário em andamento.

“Como empresa, levamos a sério a segurança de nossos usuários, e nossa equipe de Confiança e Segurança implementou várias novas medidas de segurança nos últimos seis meses, incluindo um pop-up direcionando os usuários para o Centro de Valorização da Vida (CVV) acionado por termos de automutilação ou ideação suicida”, disse Harrison.

Leia também:

Este post foi modificado pela última vez em %s = human-readable time difference 18:55

Isabella Caminoto

Advogada e mestranda em Direito Internacional, tenho a democracia e a liberdade como bandeiras irrenunciáveis. Sou apaixonada pelos animais e acredito que o bem-estar do nosso planeta deveria ser o destaque diário da pauta da nossa sociedade.

Posts recentes

DeepMind dá um salto gigante na computação quântica com o AlphaQubit

O Google DeepMind acaba de apresentar o AlphaQubit, um sistema de inteligência artificial (IA) que…

21 de novembro de 2024

ChatGPT está mais perto de lançar sua IA visual

Um código recém-descoberto na última versão beta do ChatGPT sugere que a OpenAI pode estar…

21 de novembro de 2024

DeepSeek revela poderosa IA de raciocínio; veja

A empresa chinesa de pesquisa em inteligência artificial (IA), DeepSeek, acaba de lançar o R1-Lite-Preview,…

21 de novembro de 2024

OpenAI lança curso gratuito de IA para professores

A OpenAI e a parceira sem fins lucrativos Common Sense Media lançaram um curso de…

20 de novembro de 2024

Robôs da Figure transformam produção da BMW; saiba como

Brett Adcock, CEO da Figure, postou uma atualização sobre os robôs humanoides da empresa trabalhando…

20 de novembro de 2024

Microsoft revela agentes de IA especializados e ferramentas de automação

A Microsoft acaba de apresentar uma suíte de novos agentes de inteligência artificial (IA) especializados…

20 de novembro de 2024