Las dos versiones están alineadas bloque a bloque, en el orden del texto: titular, lo esencial y después párrafo a párrafo. Cuando la traducción ha fusionado o dividido un párrafo, la casilla correspondiente queda vacía — nunca emparejamos dos pasajes a ojo.
A robot is asked to fetch a book it saw on the coffee table an hour earlier. It has since finished other chores, so it searches every room, or keeps tugging at a drawer it already found locked. That is the everyday failure a team at the OmniAI Group at Zhejiang University wanted to measure. Their benchmark, EmbodiedMemory-Bench (EMem-Bench), tests whether embodied AI agents, meaning software that acts through a body or simulated body, can build memory from long histories of interaction and then act on it.
Se pide a un robot que traiga un libro que vio sobre la mesita de centro hace una hora. Desde entonces ha terminado otras tareas, así que busca en todas las habitaciones o insiste en tirar de un cajón que ya encontró cerrado con llave. Es el fallo cotidiano que un equipo del OmniAI Group de la Universidad de Zhejiang quiso medir. Su banco de pruebas, EmbodiedMemory-Bench (EMem-Bench), comprueba si los agentes de IA encarnada, es decir, programas que actúan a través de un cuerpo o de un cuerpo simulado, pueden construir memoria a partir de largos historiales de interacción y actuar en consecuencia.
The researchers first examined 100 failed attempts by two models, Gemini-3-Flash and Qwen3-VL-32B, on the EmbodiedBench test suites. The causes were specific: 35% came from missing fine visual details, 31% from failing to record states revealed by an interaction, 18% from overlooking changes in the environment, and 7% from failing to reuse past experience. The benchmark turns these four gaps into task families, and each of its 2,554 executable episodes gives the agent a time-ordered multimodal history before a new task. The agent must retrieve the right evidence, then navigate, open containers and move objects in the AI2-THOR simulator until the goal is reached. To make the tests harder, single rooms are joined into multi-room homes and distracting but executable interactions are inserted between the key clue and the request.
Los investigadores analizaron primero 100 intentos fallidos de dos modelos, Gemini-3-Flash y Qwen3-VL-32B, en las suites de pruebas de EmbodiedBench. Las causas fueron concretas: el 35 % procedía de la falta de detalles visuales finos; el 31 %, de no registrar los estados que revelaba una interacción; el 18 %, de no detectar cambios en el entorno, y el 7 %, de no reutilizar la experiencia previa. El banco de pruebas convierte estas cuatro carencias en familias de tareas, y cada uno de sus 2.554 episodios ejecutables ofrece al agente un historial multimodal ordenado en el tiempo antes de una nueva tarea. El agente debe recuperar la evidencia correcta y luego desplazarse, abrir contenedores y mover objetos en el simulador AI2-THOR hasta alcanzar el objetivo. Para hacer las pruebas más difíciles, las habitaciones individuales se unen en viviendas de varias estancias, y entre la pista clave y la petición se insertan interacciones que distraen, pero que son ejecutables.
The team's own answer is Embodied-Memorizer (EMem), an external memory system that stores experience as scene, spatial and event memories. Using GPT-5.4-mini as its backbone, EMem raised average success from 35.3% to 58.9%, which is 21.1 points above TeleMem, the next-best memory system tested. A fine-tuned 8-billion-parameter policy, EMem-8B, reached 46.0%, against a base model score 20.6 points lower. The result also clarifies a common shortcut. Simply feeding more history images did not help: success fell from 36.6% to 26.2%, while input tokens per episode rose from 41,770 to 206,489.
La respuesta propia del equipo es Embodied-Memorizer (EMem), un sistema de memoria externa que almacena la experiencia en memorias de escena, espaciales y de eventos. Con GPT-5.4-mini como base, EMem elevó el éxito medio del 35,3 % al 58,9 %, es decir, 21,1 puntos por encima de TeleMem, el siguiente sistema de memoria probado. Una política ajustada de 8.000 millones de parámetros, EMem-8B, alcanzó el 46,0 %, frente a una puntuación del modelo base 20,6 puntos inferior. El resultado también desmonta un atajo habitual. Limitarse a dar más imágenes del historial no ayudó: el éxito bajó del 36,6 % al 26,2 %, mientras que los tokens de entrada por episodio pasaron de 41.770 a 206.489.
The baselines show how hard the benchmark is. With full context, Gemini-3-Flash led at 64.2%, followed by Gemini-2.5-Pro at 60.8%, Qwen3.6-27B at 58.2% and GPT-5.4 at 56.8%. All but one open-source model scored below 45%. For developers building home robots, the paper suggests that structuring experience can work better than piling on raw history. A benchmark like this also gives teams a shared yardstick, which matters for anyone who wants to compare systems on the same tasks.
Las líneas base muestran lo difícil que es el banco de pruebas. Con el contexto completo, Gemini-3-Flash lideró con el 64,2 %, seguido de Gemini-2.5-Pro con el 60,8 %, Qwen3.6-27B con el 58,2 % y GPT-5.4 con el 56,8 %. Todos los modelos de código abierto menos uno obtuvieron menos del 45 %. Para los desarrolladores de robots domésticos, el artículo sugiere que estructurar la experiencia puede funcionar mejor que acumular historial bruto. Un banco de pruebas como este también ofrece a los equipos una referencia común, algo que importa a quien quiera comparar sistemas con las mismas tareas.
The limits are clear, and the authors name them. Every result comes from simulation, while a real robot must cope with sensor noise and execution errors that a virtual kitchen never produces. Until these systems run on physical hardware, the 58.9% figure measures the memory approach, not a robot that can be trusted to fetch the book. The next test is the one the authors themselves point to: testing EMem on physical robots that face sensor noise and execution errors.
Las limitaciones están claras, y los autores las enumeran. Todos los resultados proceden de simulaciones, mientras que un robot real debe lidiar con ruido de sensores y errores de ejecución que una cocina virtual nunca produce. Mientras estos sistemas no funcionen en hardware físico, la cifra del 58,9 % mide el enfoque de memoria, no a un robot en el que se pueda confiar para traer el libro. La siguiente prueba es la que señalan los propios autores: probar EMem en robots físicos que enfrenten ruido de sensores y errores de ejecución.