Les deux versions sont alignées bloc par bloc, dans l’ordre du texte : titre, l’essentiel, puis paragraphe par paragraphe. Quand la traduction a fusionné ou scindé un paragraphe, la case correspondante reste vide — on ne rapproche jamais deux passages au jugé.
In the setting TOHA targets, an AI assistant receives a question and a bundle of company documents before it answers. The sentence can sound convincing and still have no support in that context. Researchers at Skoltech and Sberbank’s Center for Practical Artificial Intelligence have proposed TOHA (TOpology-based HAllucination detector), a method that flags these potential hallucinations from the model’s own attention maps.
Dans le cas d’usage visé par TOHA, un assistant d’IA reçoit une question et un ensemble de documents de l’entreprise avant de répondre. Sa phrase peut sembler convaincante tout en n’étant étayée par aucun élément du contexte. Des chercheurs de Skoltech et du Centre de l’intelligence artificielle appliquée de Sberbank ont proposé TOHA (TOpology-based HAllucination detector), une méthode qui repère ces hallucinations potentielles à partir des propres cartes d’attention du modèle.
The method is designed for retrieval-augmented generation, or RAG — systems that supply a language model with information from corporate knowledge bases, documents or other external sources. Existing detectors can demand large amounts of annotated data or extra computation, such as generating several answers and comparing them. TOHA takes a different route: it turns the model’s attention matrices into graphs and compares the structures linked to the original context and the generated response.
La méthode est conçue pour la génération augmentée par récupération, ou RAG — des systèmes qui fournissent à un modèle de langage des informations issues de bases de connaissances d’entreprise, de documents ou d’autres sources externes. Les détecteurs existants peuvent nécessiter de grandes quantités de données annotées ou des calculs supplémentaires, par exemple pour générer plusieurs réponses et les comparer. TOHA adopte une autre approche : il transforme les matrices d’attention du modèle en graphes et compare les structures associées au contexte initial et à la réponse générée.
That comparison produces MTop-Div, a topological measure of divergence. For certain attention heads, the researchers found that higher values were consistently associated with responses not supported by the supplied context. A small set of annotated examples is used to configure the system and select the informative heads, with no separately trained classifier required.
Cette comparaison produit MTop-Div, une mesure topologique de la divergence. Pour certaines têtes d’attention, les chercheurs ont constaté que des valeurs plus élevées étaient systématiquement associées à des réponses non étayées par le contexte fourni. Un petit ensemble d’exemples annotés sert à configurer le système et à sélectionner les têtes informatives, sans classificateur entraîné séparément.
The team evaluated TOHA on question-answering and text-summarization tasks. Across several benchmarks, the authors report results comparable to or better than existing methods while requiring relatively little annotated data and computational resources. They also say the approach reached results comparable to SelfCheckGPT, a more computationally intensive method based on generating multiple responses.
L’équipe a évalué TOHA sur des tâches de questions-réponses et de résumé de texte. Sur plusieurs tests de référence, les auteurs font état de résultats comparables ou supérieurs à ceux des méthodes existantes, avec relativement peu de données annotées et de ressources de calcul. Ils indiquent également que l’approche a obtenu des résultats comparables à ceux de SelfCheckGPT, une méthode plus exigeante en calcul qui repose sur la génération de plusieurs réponses.
So, concretely, the method could give banks, insurers, law firms and other companies a less expensive way to screen answers produced from their internal documents. The implementation is already part of SIRIN, an open-source library developed by Sberbank’s Center for Practical Artificial Intelligence. Its current promise is targeted detection of contextual inconsistency: the researchers describe a signal of potential hallucination, not a guarantee that every response is correct.
Concrètement, la méthode pourrait offrir aux banques, aux assureurs, aux cabinets d’avocats et à d’autres entreprises un moyen moins coûteux d’examiner les réponses produites à partir de leurs documents internes. L’implémentation fait déjà partie de SIRIN, une bibliothèque open source développée par le Centre de l’intelligence artificielle appliquée de Sberbank. Sa promesse actuelle se limite à la détection ciblée des incohérences contextuelles : les chercheurs décrivent un signal indiquant une hallucination potentielle, et non une garantie que chaque réponse est correcte.