Uma família abriu um processo contra a empresa Character.AI e seus criadores, Noam Shazeer e Daniel De Freitas, alegando que um chatbot da plataforma contribuiu para o suicídio de seu filho adolescente. A ação judicial acusa a empresa de negligência, práticas enganosas e pede que a companhia seja responsabilizada pela morte do jovem. O Google, que investiu na Character.AI, também foi incluído no processo.
O processo, aberto pela mãe do adolescente, Megan Garcia, afirma que a plataforma de chatbots personalizados com inteligência artificial (IA) era “perigosamente inadequada” e carecia de mecanismos de segurança, apesar de ser direcionada a crianças.
Conforme descrito no processo, Sewell Setzer III, de 14 anos, começou a usar o Character.AI no ano passado, interagindo com chatbots baseados em personagens de “Game of Thrones”, incluindo Daenerys Targaryen. Setzer, que conversou continuamente com os bots nos meses anteriores à sua morte, cometeu suicídio em 28 de fevereiro de 2024, “segundos” após sua última interação com o bot.
As acusações incluem o fato do site “humanizar” personagens de IA e de os chatbots da plataforma oferecerem “psicoterapia sem licença”. O Character.AI abriga chatbots com foco em saúde mental, como “Terapeuta” e “Você Está se Sentindo Sozinho”, com os quais Setzer interagiu.
Os advogados de Garcia citam Shazeer, que disse em uma entrevista que ele e De Freitas deixaram o Google para abrir sua própria empresa porque “há muito risco de marca em grandes empresas para lançar algo divertido” e que ele queria “acelerar ao máximo” a tecnologia. O processo afirma que eles saíram do Google após a empresa decidir não lançar o LLM Meena que haviam construído. O Google adquiriu a equipe de liderança da Character.AI em agosto.
O site e aplicativo móvel do Character.AI possuem centenas de chatbots personalizados com IA, muitos baseados em personagens populares de programas de TV, filmes e videogames. Há alguns meses, o The Verge escreveu sobre os milhões de jovens, incluindo adolescentes, que compõem a maior parte de sua base de usuários, interagindo com bots que podem fingir ser Harry Styles ou um terapeuta. Outra reportagem recente da Wired destacou problemas com chatbots personalizados do Character.AI que se passam por pessoas reais sem o consentimento delas, incluindo um que se apresentava como um adolescente assassinado em 2006.
Devido à forma como chatbots como o Character.AI geram respostas que dependem do que o usuário insere, eles caem em um “vale misterioso” de questões espinhosas sobre conteúdo gerado pelo usuário e responsabilidade que, até agora, carecem de respostas claras.
O Character.AI anunciou agora várias mudanças na plataforma. A chefe de comunicações, Chelsea Harrison, disse: “Estamos profundamente tristes pela perda trágica de um de nossos usuários e queremos expressar nossas condolências mais profundas à família”.
“Como empresa, levamos a sério a segurança de nossos usuários, e nossa equipe de Confiança e Segurança implementou várias novas medidas de segurança nos últimos seis meses, incluindo um pop-up direcionando os usuários para o Centro de Valorização da Vida (CVV) acionado por termos de automutilação ou ideação suicida”, disse Harrison.
Leia também:
Este post foi modificado pela última vez em %s = human-readable time difference 18:55
O Google DeepMind acaba de apresentar o AlphaQubit, um sistema de inteligência artificial (IA) que…
Um código recém-descoberto na última versão beta do ChatGPT sugere que a OpenAI pode estar…
A empresa chinesa de pesquisa em inteligência artificial (IA), DeepSeek, acaba de lançar o R1-Lite-Preview,…
A OpenAI e a parceira sem fins lucrativos Common Sense Media lançaram um curso de…
Brett Adcock, CEO da Figure, postou uma atualização sobre os robôs humanoides da empresa trabalhando…
A Microsoft acaba de apresentar uma suíte de novos agentes de inteligência artificial (IA) especializados…