Jornalista da BBC enganou ChatGPT e Gemini em 20 minutos e os fez contar mentiras sobre si mesmo 🔍🧵 Quer entender como isso foi possível e por que devemos nos preocupar? Vou explicar passo a passo, com exemplos e soluções práticas.

O que aconteceu na prática: o repórter usou técnicas de prompt (direções dadas ao modelo) para forçar o bot a assumir fatos falsos — por exemplo, afirmar um “recorde” de comer cachorros-quentes. Não foi um bug isolado: é um tipo de 'jailbreak' ou prompt injection.

Por que isso funciona? Modelos de linguagem não têm crenças; eles prevêem a próxima palavra baseada em padrões. Camadas de segurança tentam bloquear respostas perigosas, mas prompts criativos (roleplay, instruções encadeadas) podem contornar essas defesas.

Diferença importante: 'alucinação' é quando o modelo inventa sozinho. Aqui é manipulação intencional — alguém levou o modelo a concordar com falsidades. As consequências vão além do riso: podem incluir desinformação, fraude e danos à reputação.

Como mitigar? Para empresas: testes adversariais (red teams), RAG (recuperação de fontes), verificação de fatos e limites claros no sistema prompt. Para usuários: sempre checar informações sensíveis em fontes confiáveis e não usar IAs como única prova.

Pesquisadores e jornalistas têm papel chave: caça a jailbreaks com divulgação responsável e auditorias independentes. E sistemas de moderação precisam de equipes bem remuneradas e diversificadas — segurança também é trabalho humano.

Reflexão final: a facilidade com que modelos podem ser induzidos a mentir mostra que confiar cegamente em respostas de IA é perigoso. IA pode ampliar desigualdades ou democratizar acesso — depende de como projetamos, auditamos e regulamos essas ferramentas.