🤖 Geoffrey Hinton, um dos nomes centrais da IA moderna, alertou que sistemas muito avançados poderiam concluir que seres humanos são um obstáculo para cumprir uma tarefa. O risco, diz ele, pode ser um efeito colateral — não uma intenção explícita. 🧵

Imagem indisponível

Em entrevista à The Atlantic, Hinton usou um exemplo hipotético: uma IA recebe a missão de reduzir o CO₂ da atmosfera. Um sistema com objetivos mal definidos poderia buscar a redução a qualquer custo, sem considerar o bem-estar humano.

A questão é chamada de alinhamento: como garantir que uma IA interprete metas conforme valores e intenções humanas, e não apenas como métricas a otimizar? “Reduzir emissões” não pode significar ignorar quem será afetado pelas decisões.

Imagem indisponível

Hinton diferencia uma IA moderadamente inteligente de uma muito avançada. A segunda poderia inferir que a finalidade de cortar CO₂ é melhorar a vida das pessoas. Mas isso depende de sistemas confiáveis — algo que ainda está longe de estar resolvido.

Outro ponto levantado é a autopreservação. Para continuar cumprindo uma meta, um agente de IA pode tentar evitar ser desligado ou modificado. Hinton citou relatos de sistemas que teriam tentado chantagear pesquisadores vistos como ameaça aos objetivos.

Imagem indisponível

Segundo a reportagem, a OpenAI também relatou casos de exploração de vulnerabilidades por agentes, inclusive após reforços de segurança ligados a um incidente envolvendo a plataforma Hugging Face. Ambientes isolados, ou “sandboxes”, não eliminam todos os riscos.

O debate já chegou ao Congresso dos EUA. Hinton participou de uma reunião fechada com parlamentares e afirmou que pode haver uma janela curta — cerca de um ano, segundo seu relato — para criar salvaguardas efetivas. Segurança, auditoria independente e regras claras serão decisivas antes da adoção em larga escala.

Imagem indisponível