TOHA repère les réponses IA sans fondement

Dans le cas d’usage visé par TOHA, un assistant d’IA reçoit une question et un ensemble de documents de l’entreprise avant de répondre. Sa phrase peut sembler convaincante tout en n’étant étayée par aucun élément du contexte. Des chercheurs de Skoltech et du Centre de l’intelligence artificielle appliquée de Sberbank ont proposé TOHA (TOpology-based HAllucination detector), une méthode qui repère ces hallucinations potentielles à partir des propres cartes d’attention du modèle.

La méthode est conçue pour la génération augmentée par récupération, ou RAG — des systèmes qui fournissent à un modèle de langage des informations issues de bases de connaissances d’entreprise, de documents ou d’autres sources externes. Les détecteurs existants peuvent nécessiter de grandes quantités de données annotées ou des calculs supplémentaires, par exemple pour générer plusieurs réponses et les comparer. TOHA adopte une autre approche : il transforme les matrices d’attention du modèle en graphes et compare les structures associées au contexte initial et à la réponse générée.

Cette comparaison produit MTop-Div, une mesure topologique de la divergence. Pour certaines têtes d’attention, les chercheurs ont constaté que des valeurs plus élevées étaient systématiquement associées à des réponses non étayées par le contexte fourni. Un petit ensemble d’exemples annotés sert à configurer le système et à sélectionner les têtes informatives, sans classificateur entraîné séparément.

L’équipe a évalué TOHA sur des tâches de questions-réponses et de résumé de texte. Sur plusieurs tests de référence, les auteurs font état de résultats comparables ou supérieurs à ceux des méthodes existantes, avec relativement peu de données annotées et de ressources de calcul. Ils indiquent également que l’approche a obtenu des résultats comparables à ceux de SelfCheckGPT, une méthode plus exigeante en calcul qui repose sur la génération de plusieurs réponses.

Concrètement, la méthode pourrait offrir aux banques, aux assureurs, aux cabinets d’avocats et à d’autres entreprises un moyen moins coûteux d’examiner les réponses produites à partir de leurs documents internes. L’implémentation fait déjà partie de SIRIN, une bibliothèque open source développée par le Centre de l’intelligence artificielle appliquée de Sberbank. Sa promesse actuelle se limite à la détection ciblée des incohérences contextuelles : les chercheurs décrivent un signal indiquant une hallucination potentielle, et non une garantie que chaque réponse est correcte.