Memoria externa eleva al 58,9 % el éxito de IA doméstica simulada

Se pide a un robot que traiga un libro que vio sobre la mesita de centro hace una hora. Desde entonces ha terminado otras tareas, así que busca en todas las habitaciones o insiste en tirar de un cajón que ya encontró cerrado con llave. Es el fallo cotidiano que un equipo del OmniAI Group de la Universidad de Zhejiang quiso medir. Su banco de pruebas, EmbodiedMemory-Bench (EMem-Bench), comprueba si los agentes de IA encarnada, es decir, programas que actúan a través de un cuerpo o de un cuerpo simulado, pueden construir memoria a partir de largos historiales de interacción y actuar en consecuencia.

Los investigadores analizaron primero 100 intentos fallidos de dos modelos, Gemini-3-Flash y Qwen3-VL-32B, en las suites de pruebas de EmbodiedBench. Las causas fueron concretas: el 35 % procedía de la falta de detalles visuales finos; el 31 %, de no registrar los estados que revelaba una interacción; el 18 %, de no detectar cambios en el entorno, y el 7 %, de no reutilizar la experiencia previa. El banco de pruebas convierte estas cuatro carencias en familias de tareas, y cada uno de sus 2.554 episodios ejecutables ofrece al agente un historial multimodal ordenado en el tiempo antes de una nueva tarea. El agente debe recuperar la evidencia correcta y luego desplazarse, abrir contenedores y mover objetos en el simulador AI2-THOR hasta alcanzar el objetivo. Para hacer las pruebas más difíciles, las habitaciones individuales se unen en viviendas de varias estancias, y entre la pista clave y la petición se insertan interacciones que distraen, pero que son ejecutables.

La respuesta propia del equipo es Embodied-Memorizer (EMem), un sistema de memoria externa que almacena la experiencia en memorias de escena, espaciales y de eventos. Con GPT-5.4-mini como base, EMem elevó el éxito medio del 35,3 % al 58,9 %, es decir, 21,1 puntos por encima de TeleMem, el siguiente sistema de memoria probado. Una política ajustada de 8.000 millones de parámetros, EMem-8B, alcanzó el 46,0 %, frente a una puntuación del modelo base 20,6 puntos inferior. El resultado también desmonta un atajo habitual. Limitarse a dar más imágenes del historial no ayudó: el éxito bajó del 36,6 % al 26,2 %, mientras que los tokens de entrada por episodio pasaron de 41.770 a 206.489.

Las líneas base muestran lo difícil que es el banco de pruebas. Con el contexto completo, Gemini-3-Flash lideró con el 64,2 %, seguido de Gemini-2.5-Pro con el 60,8 %, Qwen3.6-27B con el 58,2 % y GPT-5.4 con el 56,8 %. Todos los modelos de código abierto menos uno obtuvieron menos del 45 %. Para los desarrolladores de robots domésticos, el artículo sugiere que estructurar la experiencia puede funcionar mejor que acumular historial bruto. Un banco de pruebas como este también ofrece a los equipos una referencia común, algo que importa a quien quiera comparar sistemas con las mismas tareas.

Las limitaciones están claras, y los autores las enumeran. Todos los resultados proceden de simulaciones, mientras que un robot real debe lidiar con ruido de sensores y errores de ejecución que una cocina virtual nunca produce. Mientras estos sistemas no funcionen en hardware físico, la cifra del 58,9 % mide el enfoque de memoria, no a un robot en el que se pueda confiar para traer el libro. La siguiente prueba es la que señalan los propios autores: probar EMem en robots físicos que enfrenten ruido de sensores y errores de ejecución.