Le due versioni sono allineate blocco per blocco, nell’ordine del testo: titolo, l’essenziale, poi paragrafo per paragrafo. Quando la traduzione ha fuso o diviso un paragrafo, la casella corrispondente resta vuota — non accostiamo mai due passaggi a occhio.
In the setting TOHA targets, an AI assistant receives a question and a bundle of company documents before it answers. The sentence can sound convincing and still have no support in that context. Researchers at Skoltech and Sberbank’s Center for Practical Artificial Intelligence have proposed TOHA (TOpology-based HAllucination detector), a method that flags these potential hallucinations from the model’s own attention maps.
Nel contesto a cui mira TOHA, un assistente IA riceve una domanda e un insieme di documenti aziendali prima di rispondere. La frase può sembrare convincente e tuttavia non avere alcun supporto in quel contesto. I ricercatori di Skoltech e del Centro Sberbank per l'intelligenza artificiale pratica hanno proposto TOHA (TOpology-based HAllucination detector), un metodo che segnala queste potenziali allucinazioni a partire dalle mappe di attenzione del modello.
The method is designed for retrieval-augmented generation, or RAG — systems that supply a language model with information from corporate knowledge bases, documents or other external sources. Existing detectors can demand large amounts of annotated data or extra computation, such as generating several answers and comparing them. TOHA takes a different route: it turns the model’s attention matrices into graphs and compares the structures linked to the original context and the generated response.
Il metodo è progettato per i sistemi di generazione retrieval-augmented, o RAG, che forniscono a un modello linguistico informazioni tratte da basi di conoscenza aziendali, documenti o altre fonti esterne. I rilevatori esistenti possono richiedere grandi quantità di dati annotati o calcoli aggiuntivi, per esempio generando diverse risposte e confrontandole. TOHA segue un'altra strada: trasforma le matrici di attenzione del modello in grafi e confronta le strutture associate al contesto originale e alla risposta generata.
That comparison produces MTop-Div, a topological measure of divergence. For certain attention heads, the researchers found that higher values were consistently associated with responses not supported by the supplied context. A small set of annotated examples is used to configure the system and select the informative heads, with no separately trained classifier required.
Da questo confronto deriva MTop-Div, una misura topologica della divergenza. Per alcune teste di attenzione, i ricercatori hanno riscontrato che valori più elevati erano associati in modo costante a risposte non supportate dal contesto fornito. Un piccolo insieme di esempi annotati viene usato per configurare il sistema e selezionare le teste informative, senza bisogno di un classificatore addestrato separatamente.
The team evaluated TOHA on question-answering and text-summarization tasks. Across several benchmarks, the authors report results comparable to or better than existing methods while requiring relatively little annotated data and computational resources. They also say the approach reached results comparable to SelfCheckGPT, a more computationally intensive method based on generating multiple responses.
Il team ha valutato TOHA su attività di risposta a domande e riassunto automatico del testo. Su diversi benchmark, gli autori riportano risultati paragonabili o migliori rispetto ai metodi esistenti, richiedendo al contempo relativamente pochi dati annotati e risorse computazionali. Affermano inoltre che l'approccio ha raggiunto risultati paragonabili a quelli di SelfCheckGPT, un metodo più oneroso dal punto di vista computazionale che si basa sulla generazione di più risposte.
So, concretely, the method could give banks, insurers, law firms and other companies a less expensive way to screen answers produced from their internal documents. The implementation is already part of SIRIN, an open-source library developed by Sberbank’s Center for Practical Artificial Intelligence. Its current promise is targeted detection of contextual inconsistency: the researchers describe a signal of potential hallucination, not a guarantee that every response is correct.
In concreto, il metodo potrebbe offrire a banche, compagnie assicurative, studi legali e altre aziende un modo meno costoso per esaminare le risposte prodotte a partire dai loro documenti interni. L'implementazione fa già parte di SIRIN, una libreria open source sviluppata dal Centro Sberbank per l'intelligenza artificiale pratica. La sua promessa attuale riguarda il rilevamento mirato delle incoerenze contestuali: i ricercatori descrivono un segnale di potenziale allucinazione, non una garanzia che ogni risposta sia corretta.