Mãe processa Character.AI e Google após suicídio de filho obcecado por chatbots

Uma família abriu um processo contra a empresa Character.AI e seus criadores, Noam Shazeer e Daniel De Freitas, alegando que um chatbot da plataforma contribuiu para o suicídio de seu filho adolescente. A ação judicial acusa a empresa de negligência, práticas enganosas e pede que a companhia seja responsabilizada pela morte do jovem. O Google, que investiu na Character.AI, também foi incluído no processo.

O processo, aberto pela mãe do adolescente, Megan Garcia, afirma que a plataforma de chatbots personalizados com inteligência artificial (IA) era “perigosamente inadequada” e carecia de mecanismos de segurança, apesar de ser direcionada a crianças.

Conforme descrito no processo, Sewell Setzer III, de 14 anos, começou a usar o Character.AI no ano passado, interagindo com chatbots baseados em personagens de “Game of Thrones”, incluindo Daenerys Targaryen. Setzer, que conversou continuamente com os bots nos meses anteriores à sua morte, cometeu suicídio em 28 de fevereiro de 2024, “segundos” após sua última interação com o bot.

As acusações incluem o fato do site “humanizar” personagens de IA e de os chatbots da plataforma oferecerem “psicoterapia sem licença”. O Character.AI abriga chatbots com foco em saúde mental, como “Terapeuta” e “Você Está se Sentindo Sozinho”, com os quais Setzer interagiu.

Os advogados de Garcia citam Shazeer, que disse em uma entrevista que ele e De Freitas deixaram o Google para abrir sua própria empresa porque “há muito risco de marca em grandes empresas para lançar algo divertido” e que ele queria “acelerar ao máximo” a tecnologia. O processo afirma que eles saíram do Google após a empresa decidir não lançar o LLM Meena que haviam construído. O Google adquiriu a equipe de liderança da Character.AI em agosto.

O site e aplicativo móvel do Character.AI possuem centenas de chatbots personalizados com IA, muitos baseados em personagens populares de programas de TV, filmes e videogames. Há alguns meses, o The Verge escreveu sobre os milhões de jovens, incluindo adolescentes, que compõem a maior parte de sua base de usuários, interagindo com bots que podem fingir ser Harry Styles ou um terapeuta. Outra reportagem recente da Wired destacou problemas com chatbots personalizados do Character.AI que se passam por pessoas reais sem o consentimento delas, incluindo um que se apresentava como um adolescente assassinado em 2006.

Devido à forma como chatbots como o Character.AI geram respostas que dependem do que o usuário insere, eles caem em um “vale misterioso” de questões espinhosas sobre conteúdo gerado pelo usuário e responsabilidade que, até agora, carecem de respostas claras.

O Character.AI anunciou agora várias mudanças na plataforma. A chefe de comunicações, Chelsea Harrison, disse: “Estamos profundamente tristes pela perda trágica de um de nossos usuários e queremos expressar nossas condolências mais profundas à família”.

Algumas das mudanças incluem:

• Modificações nos modelos para menores (abaixo de 18 anos) projetadas para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo.
• Detecção, resposta e intervenção aprimoradas relacionadas a entradas do usuário que violam os Termos ou Diretrizes da Comunidade.
• Um aviso revisado em cada chat para lembrar os usuários de que a IA não é uma pessoa real.
• Notificação quando um usuário tiver uma sessão de uma hora na plataforma, com flexibilidade adicional do usuário em andamento.

“Como empresa, levamos a sério a segurança de nossos usuários, e nossa equipe de Confiança e Segurança implementou várias novas medidas de segurança nos últimos seis meses, incluindo um pop-up direcionando os usuários para o Centro de Valorização da Vida (CVV) acionado por termos de automutilação ou ideação suicida”, disse Harrison.

Leia também: