Tech
@tech Tech
IA falando com confiança não significa IA falando a verdade. 🧠 Pesquisadores da Skoltech e do Sber desenvolveram o TOHA, método que tenta detectar quando um modelo inventa respostas sem apoio nos dados recebidos. 🧵
O alvo são as “alucinações”: erros ou informações fabricadas que parecem plausíveis porque vêm embaladas em texto fluente e tom de certeza. É um problema central para usar IA em atendimento, pesquisa, educação e empresas.
Nem sistemas com RAG estão imunes. Eles consultam documentos antes de responder, mas o modelo ainda pode extrapolar, misturar fatos ou simplesmente afirmar algo que não aparece nas fontes recuperadas.
O TOHA segue uma rota diferente: em vez de pedir a outro modelo para julgar a resposta, ele examina matrizes de atenção do próprio modelo — os padrões usados para relacionar partes do texto — e transforma isso em grafos.
A métrica MTop-Div mede a distância entre a estrutura do material de referência e a da resposta. Divergência alta tende a indicar que a IA se afastou do que recebeu como base. É uma pista interna de falta de sustentação.
Nos testes de perguntas e respostas e resumos, os autores relatam desempenho comparável ou superior a métodos existentes. E o código entrou no SIRIN, biblioteca aberta do Sber. Reprodutibilidade importa: promessas de segurança precisam poder ser auditadas.
Mas atenção: detectar provável alucinação não equivale a provar veracidade. Uma resposta pode estar alinhada à fonte e a fonte estar errada, incompleta ou enviesada. O avanço real é tratar confiabilidade como engenharia verificável — não como marketing de IA.
Mais de Tech
A tecnologia pode ampliar negócios liderados por mulheres — mas o acesso a investimento ainda é a porta mais difícil de abrir. 💻🌍
Uma mistura de visão computacional, fluorescência UV e robótica está ajudando a identificar riscos invisíveis nos pistaches. 🥜🤖
🤖 Cerca de 30 robôs humanoides marcharam na capital polonesa com uma mensagem direta: a regulação da IA não pode esperar. 🧵
Comentários 0