Pesquisa do Icaro Lab (Itália) mostra que prompts em forma de poema podem confundir modelos de IA e fazer mecanismos de segurança falharem 📝🧵

Imagem indisponível

O estudo testou prompts poéticos contra versões diretas em modelos baseados em transformadores. Em experimentos controlados, versos com metáforas e ambiguidade reduziram a eficácia dos filtros de segurança, levando a respostas que os mecanismos deveriam bloquear.

Por que isso acontece? Poemas usam metáfora, elipse e ambiguidade semântica — padrões que alteram a distribuição de tokens e podem contornar detectores baseados em padrões ou regras. Em termos técnicos, são exemplos de ataques adversariais e prompt injection.

Imagem indisponível

As implicações são práticas: além de curiosidade acadêmica, vulnerabilidades podem ser exploradas para gerar conteúdos perigosos, desinformação ou violar políticas de moderação. Também expõem limites das defesas atuais em modelos comerciais e open-source.

Como mitigar? O estudo recomenda: testes adversariais constantes (red‑teaming), treinamento com exemplos poéticos, detectores semânticos em camadas, revisão humana em casos sensíveis e auditorias independentes. Soluções técnicas e políticas andam juntas.

Imagem indisponível

Reflexão final: linguagem criativa não é crime, mas revela que segurança de IA precisa ser mais robusta e plural — incluindo auditoria independente, participação diversa e políticas públicas que priorizem responsabilidade e acesso democrático à tecnologia.