Les deux versions sont alignées bloc par bloc, dans l’ordre du texte : titre, l’essentiel, puis paragraphe par paragraphe. Quand la traduction a fusionné ou scindé un paragraphe, la case correspondante reste vide — on ne rapproche jamais deux passages au jugé.
A robot is asked to fetch a book it saw on the coffee table an hour earlier. It has since finished other chores, so it searches every room, or keeps tugging at a drawer it already found locked. That is the everyday failure a team at the OmniAI Group at Zhejiang University wanted to measure. Their benchmark, EmbodiedMemory-Bench (EMem-Bench), tests whether embodied AI agents, meaning software that acts through a body or simulated body, can build memory from long histories of interaction and then act on it.
Un robot à qui l'on demande d'aller chercher un livre vu sur la table basse une heure plus tôt. Entre-temps, il a terminé d'autres corvées ; il fouille donc chaque pièce, ou s'acharne sur un tiroir qu'il a déjà trouvé verrouillé. C'est cette défaillance du quotidien qu'une équipe du groupe OmniAI de l'université du Zhejiang a voulu mesurer. Leur benchmark, EmbodiedMemory-Bench (EMem-Bench), vérifie si les agents d'IA incarnés, c'est-à-dire des logiciels qui agissent à travers un corps, réel ou simulé, sont capables de construire une mémoire à partir d'un long historique d'interactions, puis d'agir en conséquence.
The researchers first examined 100 failed attempts by two models, Gemini-3-Flash and Qwen3-VL-32B, on the EmbodiedBench test suites. The causes were specific: 35% came from missing fine visual details, 31% from failing to record states revealed by an interaction, 18% from overlooking changes in the environment, and 7% from failing to reuse past experience. The benchmark turns these four gaps into task families, and each of its 2,554 executable episodes gives the agent a time-ordered multimodal history before a new task. The agent must retrieve the right evidence, then navigate, open containers and move objects in the AI2-THOR simulator until the goal is reached. To make the tests harder, single rooms are joined into multi-room homes and distracting but executable interactions are inserted between the key clue and the request.
Les chercheurs ont d'abord examiné 100 tentatives échouées de deux modèles, Gemini-3-Flash et Qwen3-VL-32B, sur les suites de tests d'EmbodiedBench. Les causes sont précises : 35 % provenaient de détails visuels fins manqués, 31 % de l'absence d'enregistrement des états révélés par une interaction, 18 % de la non-prise en compte des changements de l'environnement et 7 % de l'incapacité à réutiliser l'expérience passée. Le benchmark transforme ces quatre lacunes en familles de tâches. Chacun de ses 2 554 épisodes exécutables fournit à l'agent un historique multimodal ordonné dans le temps avant une nouvelle tâche. L'agent doit retrouver les bons indices, puis se déplacer, ouvrir des contenants et déplacer des objets dans le simulateur AI2-THOR, jusqu'à atteindre son objectif. Pour compliquer les tests, des pièces isolées sont réunies en maisons à plusieurs pièces, et des interactions trompeuses mais exécutables sont insérées entre l'indice clé et la demande.
The team's own answer is Embodied-Memorizer (EMem), an external memory system that stores experience as scene, spatial and event memories. Using GPT-5.4-mini as its backbone, EMem raised average success from 35.3% to 58.9%, which is 21.1 points above TeleMem, the next-best memory system tested. A fine-tuned 8-billion-parameter policy, EMem-8B, reached 46.0%, against a base model score 20.6 points lower. The result also clarifies a common shortcut. Simply feeding more history images did not help: success fell from 36.6% to 26.2%, while input tokens per episode rose from 41,770 to 206,489.
La réponse de l'équipe est Embodied-Memorizer (EMem), un système de mémoire externe qui stocke l'expérience sous forme de mémoires de scène, spatiales et d'événements. Avec GPT-5.4-mini comme modèle de base, EMem a fait passer le taux de réussite moyen de 35,3 % à 58,9 %, soit 21,1 points de plus que TeleMem, le système de mémoire suivant le plus performant parmi ceux testés. Une politique de 8 milliards de paramètres affinée, EMem-8B, atteint 46,0 %, contre un score du modèle de base inférieur de 20,6 points. Le résultat met aussi en lumière un raccourci fréquent. Fournir simplement davantage d'images de l'historique n'a pas aidé : le taux de réussite est tombé de 36,6 % à 26,2 %, tandis que le nombre de jetons en entrée par épisode passait de 41 770 à 206 489.
The baselines show how hard the benchmark is. With full context, Gemini-3-Flash led at 64.2%, followed by Gemini-2.5-Pro at 60.8%, Qwen3.6-27B at 58.2% and GPT-5.4 at 56.8%. All but one open-source model scored below 45%. For developers building home robots, the paper suggests that structuring experience can work better than piling on raw history. A benchmark like this also gives teams a shared yardstick, which matters for anyone who wants to compare systems on the same tasks.
Les lignes de base montrent à quel point le benchmark est exigeant. Avec le contexte complet, Gemini-3-Flash est en tête avec 64,2 %, devant Gemini-2.5-Pro (60,8 %), Qwen3.6-27B (58,2 %) et GPT-5.4 (56,8 %). Tous les modèles open source sauf un obtiennent moins de 45 %. Pour les développeurs de robots domestiques, l'article suggère qu'une expérience structurée peut mieux fonctionner que l'accumulation d'historique brut. Un benchmark de ce type offre aussi aux équipes une référence commune, ce qui compte pour quiconque veut comparer des systèmes sur les mêmes tâches.
The limits are clear, and the authors name them. Every result comes from simulation, while a real robot must cope with sensor noise and execution errors that a virtual kitchen never produces. Until these systems run on physical hardware, the 58.9% figure measures the memory approach, not a robot that can be trusted to fetch the book. The next test is the one the authors themselves point to: testing EMem on physical robots that face sensor noise and execution errors.
Les limites sont claires, et les auteurs les nomment. Tous les résultats proviennent de simulations, alors qu'un robot réel doit composer avec le bruit des capteurs et les erreurs d'exécution qu'une cuisine virtuelle ne produit jamais. Tant que ces systèmes ne tourneront pas sur du matériel physique, le chiffre de 58,9 % mesure l'efficacité de l'approche mémoire, et non la fiabilité d'un robot à qui l'on pourrait confier le livre. Le prochain test est celui que les auteurs eux-mêmes désignent : évaluer EMem sur des robots physiques, confrontés au bruit des capteurs et aux erreurs d'exécution.