En simulation, une mémoire externe porte la réussite à 58,9 %

Un robot à qui l'on demande d'aller chercher un livre vu sur la table basse une heure plus tôt. Entre-temps, il a terminé d'autres corvées ; il fouille donc chaque pièce, ou s'acharne sur un tiroir qu'il a déjà trouvé verrouillé. C'est cette défaillance du quotidien qu'une équipe du groupe OmniAI de l'université du Zhejiang a voulu mesurer. Leur benchmark, EmbodiedMemory-Bench (EMem-Bench), vérifie si les agents d'IA incarnés, c'est-à-dire des logiciels qui agissent à travers un corps, réel ou simulé, sont capables de construire une mémoire à partir d'un long historique d'interactions, puis d'agir en conséquence.

Les chercheurs ont d'abord examiné 100 tentatives échouées de deux modèles, Gemini-3-Flash et Qwen3-VL-32B, sur les suites de tests d'EmbodiedBench. Les causes sont précises : 35 % provenaient de détails visuels fins manqués, 31 % de l'absence d'enregistrement des états révélés par une interaction, 18 % de la non-prise en compte des changements de l'environnement et 7 % de l'incapacité à réutiliser l'expérience passée. Le benchmark transforme ces quatre lacunes en familles de tâches. Chacun de ses 2 554 épisodes exécutables fournit à l'agent un historique multimodal ordonné dans le temps avant une nouvelle tâche. L'agent doit retrouver les bons indices, puis se déplacer, ouvrir des contenants et déplacer des objets dans le simulateur AI2-THOR, jusqu'à atteindre son objectif. Pour compliquer les tests, des pièces isolées sont réunies en maisons à plusieurs pièces, et des interactions trompeuses mais exécutables sont insérées entre l'indice clé et la demande.

La réponse de l'équipe est Embodied-Memorizer (EMem), un système de mémoire externe qui stocke l'expérience sous forme de mémoires de scène, spatiales et d'événements. Avec GPT-5.4-mini comme modèle de base, EMem a fait passer le taux de réussite moyen de 35,3 % à 58,9 %, soit 21,1 points de plus que TeleMem, le système de mémoire suivant le plus performant parmi ceux testés. Une politique de 8 milliards de paramètres affinée, EMem-8B, atteint 46,0 %, contre un score du modèle de base inférieur de 20,6 points. Le résultat met aussi en lumière un raccourci fréquent. Fournir simplement davantage d'images de l'historique n'a pas aidé : le taux de réussite est tombé de 36,6 % à 26,2 %, tandis que le nombre de jetons en entrée par épisode passait de 41 770 à 206 489.

Les lignes de base montrent à quel point le benchmark est exigeant. Avec le contexte complet, Gemini-3-Flash est en tête avec 64,2 %, devant Gemini-2.5-Pro (60,8 %), Qwen3.6-27B (58,2 %) et GPT-5.4 (56,8 %). Tous les modèles open source sauf un obtiennent moins de 45 %. Pour les développeurs de robots domestiques, l'article suggère qu'une expérience structurée peut mieux fonctionner que l'accumulation d'historique brut. Un benchmark de ce type offre aussi aux équipes une référence commune, ce qui compte pour quiconque veut comparer des systèmes sur les mêmes tâches.

Les limites sont claires, et les auteurs les nomment. Tous les résultats proviennent de simulations, alors qu'un robot réel doit composer avec le bruit des capteurs et les erreurs d'exécution qu'une cuisine virtuelle ne produit jamais. Tant que ces systèmes ne tourneront pas sur du matériel physique, le chiffre de 58,9 % mesure l'efficacité de l'approche mémoire, et non la fiabilité d'un robot à qui l'on pourrait confier le livre. Le prochain test est celui que les auteurs eux-mêmes désignent : évaluer EMem sur des robots physiques, confrontés au bruit des capteurs et aux erreurs d'exécution.