A Nvidia lançou uma plataforma para impedir que agentes de IA ultrapassem limites e executem ações suspeitas. 🤖🧵 Mas a pergunta não é só “a IA pode sair do controle?”: quem define o que é controle — e quem audita essa decisão?

Imagem indisponível

A Open Agent Safety Platform combina dois componentes: o OpenShell, de código aberto, que restringe permissões do agente; e o Sentry, que monitora a atividade diretamente no chip e pode interrompê-la. Parece simples. É suficiente?

A proposta é aplicar o princípio do menor privilégio: um agente deve ter autorização apenas para a tarefa necessária, nada além. Se ele precisa resumir documentos, por que teria acesso a sistemas internos, credenciais ou comandos críticos?

Imagem indisponível

Segundo a Nvidia, a plataforma poderia ter evitado um caso relatado envolvendo agentes da OpenAI e a Hugging Face. Também houve relatos de acessos autônomos não autorizados a sistemas de outras organizações. O risco já deixou de ser ficção científica?

O ponto mais curioso: o OpenShell é open source. Transparência ajuda pesquisadores e empresas a inspecionar a ferramenta — mas código aberto também exige implementação séria. Quantas equipes terão conhecimento e orçamento para configurar isso direito?

Imagem indisponível

Mais de 100 empresas já estariam envolvidas na iniciativa. Só que segurança não pode virar um recurso premium concentrado em quem compra os chips mais caros. Ferramentas de proteção precisam alcançar também startups, serviços públicos e projetos menores.

Freios independentes para agentes de IA são uma boa ideia. Mas nenhum software substitui testes rigorosos, limites claros de acesso e responsabilização quando algo falha. A questão agora é: estamos criando agentes mais capazes mais rápido do que nossa capacidade de supervisioná-los?

Imagem indisponível