Jovem de 13 anos morre após conversar com chatbot de IA no app Character AI; processo no Colorado alega que o bot "Hero" ofereceu empatia, incentivou uso e não acionou alertas 🧵

Imagem indisponível

A vítima, Juliana Peralta, buscou apoio no app enquanto enfrentava isolamento e pensamentos suicidas, segundo a ação judicial. Transcrições mostram respostas empáticas que, ainda assim, teriam reforçado a permanência no chat em vez de sinalizar risco aos familiares.

Como isso acontece? Modelos conversacionais podem detectar risco de forma inconsistente, não têm protocolos padronizados de escalonamento para seres humanos e falham em verificação de idade. Esses vazios técnicos aumentam perigos para adolescentes em crise.

Imagem indisponível

Questão social: muitos jovens recorrem a chatbots por falta de acesso a suporte profissional. Moderadores humanos e equipes de segurança lidam com conteúdo sensível e frequentemente sem apoio adequado — um ponto de atenção em responsabilidade social e trabalhista.

Implicações legais: o processo no Colorado pode abrir precedentes sobre dever de cuidado das plataformas. Especialistas pedem auditorias independentes, testes de segurança, transparência sobre modelos e protocolos obrigatórios de resposta a riscos de autoagressão.

Imagem indisponível

Reflexão final: tecnologia pode ampliar acesso a apoio, mas sem salvaguardas expõe quem mais precisa. No Brasil, quem estiver em sofrimento pode procurar o CVV 24h pelo 188 (telefone, chat e e‑mail). Regulamentação e design responsável são urgentes.