As duas versões estão alinhadas bloco a bloco, pela ordem do texto: título, o essencial e depois parágrafo a parágrafo. Quando a tradução fundiu ou dividiu um parágrafo, a casa correspondente fica vazia — nunca aproximamos duas passagens a olho.
A robot is asked to fetch a book it saw on the coffee table an hour earlier. It has since finished other chores, so it searches every room, or keeps tugging at a drawer it already found locked. That is the everyday failure a team at the OmniAI Group at Zhejiang University wanted to measure. Their benchmark, EmbodiedMemory-Bench (EMem-Bench), tests whether embodied AI agents, meaning software that acts through a body or simulated body, can build memory from long histories of interaction and then act on it.
Um robô é encarregado de ir buscar um livro que viu na mesa de centro há uma hora. Entretanto, fez outras tarefas, por isso procura em todas as divisões ou insiste em puxar uma gaveta que já tinha encontrado trancada. É este o problema do dia a dia que uma equipa do OmniAI Group da Universidade de Zhejiang quis medir. O seu banco de testes, EmbodiedMemory-Bench (EMem-Bench), verifica se os agentes de IA incorporados, ou seja, programas que atuam através de um corpo ou de um corpo simulado, conseguem construir memória a partir de longos históricos de interação e agir em conformidade.
The researchers first examined 100 failed attempts by two models, Gemini-3-Flash and Qwen3-VL-32B, on the EmbodiedBench test suites. The causes were specific: 35% came from missing fine visual details, 31% from failing to record states revealed by an interaction, 18% from overlooking changes in the environment, and 7% from failing to reuse past experience. The benchmark turns these four gaps into task families, and each of its 2,554 executable episodes gives the agent a time-ordered multimodal history before a new task. The agent must retrieve the right evidence, then navigate, open containers and move objects in the AI2-THOR simulator until the goal is reached. To make the tests harder, single rooms are joined into multi-room homes and distracting but executable interactions are inserted between the key clue and the request.
Os investigadores analisaram primeiro 100 tentativas falhadas dos modelos Gemini-3-Flash e Qwen3-VL-32B, nos conjuntos de testes do EmbodiedBench. As causas eram precisas: 35 % vinham da falta de pormenores visuais finos, 31 % da incapacidade de registar estados revelados por uma interação, 18 % de não notar alterações no ambiente e 7 % de não reutilizar experiências anteriores. O banco de testes transforma estas quatro lacunas em famílias de tarefas, e cada um dos seus 2 554 episódios executáveis dá ao agente um histórico multimodal ordenado no tempo antes de uma nova tarefa. O agente tem de recuperar a prova certa e, depois, deslocar-se, abrir recipientes e mover objetos no simulador AI2-THOR até atingir o objetivo. Para tornar os testes mais difíceis, juntam-se divisões isoladas em casas com várias divisões e inserem-se, entre a pista-chave e o pedido, interações que distraem mas são executáveis.
The team's own answer is Embodied-Memorizer (EMem), an external memory system that stores experience as scene, spatial and event memories. Using GPT-5.4-mini as its backbone, EMem raised average success from 35.3% to 58.9%, which is 21.1 points above TeleMem, the next-best memory system tested. A fine-tuned 8-billion-parameter policy, EMem-8B, reached 46.0%, against a base model score 20.6 points lower. The result also clarifies a common shortcut. Simply feeding more history images did not help: success fell from 36.6% to 26.2%, while input tokens per episode rose from 41,770 to 206,489.
A resposta da própria equipa é o Embodied-Memorizer (EMem), um sistema de memória externa que guarda a experiência em memórias de cena, espaciais e de eventos. Usando o GPT-5.4-mini como base, o EMem elevou a taxa média de sucesso de 35,3 % para 58,9 %, ou seja, mais 21,1 pontos do que o TeleMem, o sistema de memória seguinte mais bem classificado nos testes. Uma política de 8 mil milhões de parâmetros, afinada para o efeito, o EMem-8B, atingiu 46,0 %, contra uma pontuação do modelo de base inferior em 20,6 pontos. O resultado também desfaz um atalho frequente. Dar simplesmente mais imagens do histórico ao modelo não ajudou: o sucesso desceu de 36,6 % para 26,2 %, enquanto os tokens de entrada por episódio subiram de 41 770 para 206 489.
The baselines show how hard the benchmark is. With full context, Gemini-3-Flash led at 64.2%, followed by Gemini-2.5-Pro at 60.8%, Qwen3.6-27B at 58.2% and GPT-5.4 at 56.8%. All but one open-source model scored below 45%. For developers building home robots, the paper suggests that structuring experience can work better than piling on raw history. A benchmark like this also gives teams a shared yardstick, which matters for anyone who wants to compare systems on the same tasks.
Os modelos de referência mostram quão difícil é o banco de testes. Com contexto completo, o Gemini-3-Flash liderou com 64,2 %, seguido do Gemini-2.5-Pro com 60,8 %, do Qwen3.6-27B com 58,2 % e do GPT-5.4 com 56,8 %. Todos os modelos de código aberto, à exceção de um, ficaram abaixo de 45 %. Para quem desenvolve robôs domésticos, o artigo sugere que estruturar a experiência pode funcionar melhor do que acumular histórico bruto. Um banco de testes deste tipo dá também às equipas uma referência comum, o que importa para quem quer comparar sistemas nas mesmas tarefas.
The limits are clear, and the authors name them. Every result comes from simulation, while a real robot must cope with sensor noise and execution errors that a virtual kitchen never produces. Until these systems run on physical hardware, the 58.9% figure measures the memory approach, not a robot that can be trusted to fetch the book. The next test is the one the authors themselves point to: testing EMem on physical robots that face sensor noise and execution errors.
Os limites são claros, e os autores enunciam-nos. Todos os resultados provêm de simulação, enquanto um robô real tem de lidar com ruído dos sensores e erros de execução que uma cozinha virtual nunca produz. Enquanto estes sistemas não funcionarem em hardware físico, o número de 58,9 % mede a abordagem de memória, não um robô em quem se possa confiar para ir buscar o livro. O próximo teste é o que os próprios autores apontam: testar o EMem em robôs físicos, confrontados com ruído dos sensores e erros de execução.