TOHA deteta respostas de IA sem suporte nos mapas de atenção

No cenário visado pelo TOHA, um assistente de IA recebe uma pergunta e um conjunto de documentos da empresa antes de responder. A frase pode parecer convincente e, ainda assim, não ter qualquer suporte nesse contexto. Investigadores da Skoltech e do Centro de Inteligência Artificial Prática da Sberbank propuseram o TOHA (TOpology-based HAllucination detector), um método que sinaliza estas potenciais alucinações a partir dos próprios mapas de atenção do modelo.

O método foi concebido para a geração aumentada por recuperação, ou RAG — sistemas que fornecem a um modelo de linguagem informação proveniente de bases de conhecimento empresariais, documentos ou outras fontes externas. Os detetores existentes podem exigir grandes quantidades de dados anotados ou computação adicional, como gerar várias respostas e compará-las. O TOHA segue uma abordagem diferente: transforma as matrizes de atenção do modelo em grafos e compara as estruturas associadas ao contexto original e à resposta gerada.

Essa comparação produz o MTop-Div, uma medida topológica de divergência. Para determinadas cabeças de atenção, os investigadores concluíram que valores mais elevados estavam consistentemente associados a respostas não sustentadas pelo contexto fornecido. Um pequeno conjunto de exemplos anotados é utilizado para configurar o sistema e selecionar as cabeças informativas, sem necessidade de um classificador treinado separadamente.

A equipa avaliou o TOHA em tarefas de perguntas e respostas e de sumarização de texto. Em vários testes de referência, os autores relatam resultados comparáveis ou melhores do que os dos métodos existentes, exigindo simultaneamente relativamente poucos dados anotados e recursos computacionais. Afirmam também que a abordagem alcançou resultados comparáveis aos do SelfCheckGPT, um método mais exigente em termos computacionais que se baseia na geração de várias respostas.

Concretamente, o método poderá proporcionar a bancos, seguradoras, sociedades de advogados e outras empresas uma forma menos dispendiosa de analisar respostas produzidas a partir dos seus documentos internos. A implementação já faz parte do SIRIN, uma biblioteca de código aberto desenvolvida pelo Centro de Inteligência Artificial Prática da Sberbank. A promessa atual é a deteção direcionada de inconsistências contextuais: os investigadores descrevem um sinal de potencial alucinação, não uma garantia de que todas as respostas estejam corretas.