MemT 1.0 en open source : mémoire intégrée, en tête des benchmarks

Ce qui exaspère le plus avec l'IA, c'est souvent un moment bien connu : on passe une demi-journée à la corriger pour qu'elle fasse correctement la tâche, on ouvre une nouvelle session, et elle retombe aussitôt dans le même piège. Memory Tensor (记忆张量) vient de publier et d'ouvrir le code de MemT 1.0, un grand modèle « à mémoire native » conçu précisément pour ce problème. Le rapport technique contient un test très révélateur : l'utilisateur donne d'abord la date initiale d'une exposition, puis fixe un report à dimanche, en évoquant au passage un lundi non retenu. Les échanges se poursuivent ensuite sur plus de cinq cents tours et environ 66 000 tokens, sans que l'exposition soit à nouveau mentionnée. En mode « à livre fermé », sans accès au texte original, le modèle restitue pourtant la date initiale et le report, précise que le lieu, le prix du billet et le contact n'ont pas changé, et distingue nettement la décision de dimanche de l'option de lundi.

Ce type de situation révèle la faiblesse des approches classiques. La plupart des solutions du marché ajoutent au modèle une base de mémoire externe qui stocke l'historique des conversations, puis la consulte au besoin. Selon le rapport, face à des informations répétées sur une aussi longue durée, cette recherche externe risque de prendre une conversation anodine pour une décision. MemT 1.0 adopte une autre logique : il divise les capacités du modèle en deux parties, un tronc de réseau qui porte la cognition générale et un état de mémoire dynamique qui évolue au fil des échanges. À la fin de chaque tour de dialogue, le modèle actualise directement ce bloc au niveau du token ; un mécanisme de portes, appris pendant l'entraînement, décide de ce qui est conservé et de ce qui est remplacé, sans réentraîner l'ensemble du modèle. Pour faire tenir davantage de détails dans une mémoire de taille fixe, l'équipe a aussi introduit une architecture Mixture-of-Storage, où plusieurs « experts en mémoire » se répartissent la lecture et l'écriture de l'espace de stockage. Ces capacités sont acquises par l'entraînement : l'équipe a d'abord mené une poursuite de pré-entraînement sur 20 milliards de tokens, puis un post-entraînement sur 14 milliards de tokens, un modèle enseignant d'élite notant l'extraction des souvenirs.

Sur 11 tests de mémoire systémiques, couvrant la rétention à long terme, la mise à jour dynamique et la compréhension personnalisée, avec des historiques allant de 16K jusqu'à un million de tokens, les versions MemT-1.0-Flash et MemT-1.0-Nano obtiennent en mode à livre fermé des moyennes de 50,6 et 47,0, devant les meilleures références de mémoire paramétrique du même groupe, respectivement de 12,5 points et 8,9 points. Le rapport cite deux exemples plus précis : dans un historique d'environ 16 000 tokens, lorsque l'utilisateur demande sa date d'anniversaire, le modèle répond honnêtement qu'il ne la connaît pas, sans l'inventer ; dans une conversation de 33 000 tokens, il s'appuie sur une règle fixée bien plus tôt pour vérifier badges et statut d'inscription, et conclut que l'une des deux personnes respecte la règle tandis que l'autre n'est pas enregistrée. Ces chiffres proviennent tous du rapport technique du développeur ; aucun organisme indépendant n'a encore pu les reproduire.

Le test le plus poussé se déroule dans un contexte de programmation réelle. L'équipe a d'abord extrait plus d'un millier d'expériences de dizaines de milliers de trajectoires réussies, puis a fait réessayer le modèle, aux « points de blocage » (erreurs, réponses vides ou actions répétées sans effet), en injectant ces expériences ; cela a permis de sélectionner environ 42 000 échantillons pour entraîner le module de mémoire. Sur les 500 tâches de SWE-bench Verified, lorsque les expériences ont été écrites à l'avance, le taux de réussite moyen de Nano passe de 66,07 % à 69,33 %, un résultat proche de celui d'un groupe témoin qui place les mêmes expériences directement dans le contexte (68,87 %). En mode pratique, le modèle n'écrit une expérience sur le moment que lorsqu'il tombe sur une erreur ou tourne en rond ; son taux moyen atteint alors 69,73 %, légèrement au-dessus des 69,13 % du groupe qui utilise des expériences sous forme de texte. Sur le test SWE-bench Multilingual, qui couvre neuf langages de programmation, Nano passe de 60,00 % à 63,56 %. Ces comparaisons figurent également dans le rapport du développeur.

Pour les entreprises, le changement le plus concret est que l'expérience d'une équipe n'a plus besoin d'être réexpliquée sans cesse. Le rapport décrit un scénario courant : les règles d'un projet et les méthodes de dépannage doivent être rappelées par les ingénieurs à chaque nouvelle session, si bien que l'entreprise paie en permanence le coût de ces répétitions. Dans la vision de MemT 1.0, les retours réels de l'activité alimentent continuellement la base d'expériences, et le modèle finit par intégrer les normes de l'équipe : les profils expérimentés ont moins de travail de supervision, et l'IA répète moins les mêmes erreurs. Le coût compte tout autant. Dans des conditions de test à deux GPU et sans concurrence, pour un historique de 64K tokens, la vitesse d'inférence de bout en bout de Nano est environ 1,20 fois celle d'une solution à contexte complet, et atteint environ 3,99 fois pour un historique de 256K. Avec un historique de 128K, le stockage d'état persistant pour une interaction représente environ un soixante-sixième du cache KV complet. Le rapport évoque aussi des scénarios de compagnonnage au long cours, comme les doubles numériques, les conseillers de gestion des maladies chroniques ou les coachs personnels, mais il s'agit de pistes : aucun calendrier de déploiement n'est donné.