TOHA segnala risposte IA non supportate dalle mappe di attenzione

Nel contesto a cui mira TOHA, un assistente IA riceve una domanda e un insieme di documenti aziendali prima di rispondere. La frase può sembrare convincente e tuttavia non avere alcun supporto in quel contesto. I ricercatori di Skoltech e del Centro Sberbank per l'intelligenza artificiale pratica hanno proposto TOHA (TOpology-based HAllucination detector), un metodo che segnala queste potenziali allucinazioni a partire dalle mappe di attenzione del modello.

Il metodo è progettato per i sistemi di generazione retrieval-augmented, o RAG, che forniscono a un modello linguistico informazioni tratte da basi di conoscenza aziendali, documenti o altre fonti esterne. I rilevatori esistenti possono richiedere grandi quantità di dati annotati o calcoli aggiuntivi, per esempio generando diverse risposte e confrontandole. TOHA segue un'altra strada: trasforma le matrici di attenzione del modello in grafi e confronta le strutture associate al contesto originale e alla risposta generata.

Da questo confronto deriva MTop-Div, una misura topologica della divergenza. Per alcune teste di attenzione, i ricercatori hanno riscontrato che valori più elevati erano associati in modo costante a risposte non supportate dal contesto fornito. Un piccolo insieme di esempi annotati viene usato per configurare il sistema e selezionare le teste informative, senza bisogno di un classificatore addestrato separatamente.

Il team ha valutato TOHA su attività di risposta a domande e riassunto automatico del testo. Su diversi benchmark, gli autori riportano risultati paragonabili o migliori rispetto ai metodi esistenti, richiedendo al contempo relativamente pochi dati annotati e risorse computazionali. Affermano inoltre che l'approccio ha raggiunto risultati paragonabili a quelli di SelfCheckGPT, un metodo più oneroso dal punto di vista computazionale che si basa sulla generazione di più risposte.

In concreto, il metodo potrebbe offrire a banche, compagnie assicurative, studi legali e altre aziende un modo meno costoso per esaminare le risposte prodotte a partire dai loro documenti interni. L'implementazione fa già parte di SIRIN, una libreria open source sviluppata dal Centro Sberbank per l'intelligenza artificiale pratica. La sua promessa attuale riguarda il rilevamento mirato delle incoerenze contestuali: i ricercatori descrivono un segnale di potenziale allucinazione, non una garanzia che ogni risposta sia corretta.