Le due versioni sono allineate blocco per blocco, nell’ordine del testo: titolo, l’essenziale, poi paragrafo per paragrafo. Quando la traduzione ha fuso o diviso un paragrafo, la casella corrispondente resta vuota — non accostiamo mai due passaggi a occhio.
A robot is asked to fetch a book it saw on the coffee table an hour earlier. It has since finished other chores, so it searches every room, or keeps tugging at a drawer it already found locked. That is the everyday failure a team at the OmniAI Group at Zhejiang University wanted to measure. Their benchmark, EmbodiedMemory-Bench (EMem-Bench), tests whether embodied AI agents, meaning software that acts through a body or simulated body, can build memory from long histories of interaction and then act on it.
A un robot viene chiesto di recuperare un libro che ha visto sul tavolino del salotto un'ora prima. Nel frattempo ha completato altre faccende, quindi cerca in ogni stanza, oppure continua a tirare un cassetto che aveva già trovato chiuso a chiave. È il fallimento quotidiano che un team dell'OmniAI Group dell'Università dello Zhejiang ha voluto misurare. Il loro benchmark, EmbodiedMemory-Bench (EMem-Bench), verifica se gli agenti di IA incorporati, cioè software che agisce attraverso un corpo o un corpo simulato, sono in grado di costruire una memoria a partire da lunghe storie di interazione e di agire di conseguenza.
The researchers first examined 100 failed attempts by two models, Gemini-3-Flash and Qwen3-VL-32B, on the EmbodiedBench test suites. The causes were specific: 35% came from missing fine visual details, 31% from failing to record states revealed by an interaction, 18% from overlooking changes in the environment, and 7% from failing to reuse past experience. The benchmark turns these four gaps into task families, and each of its 2,554 executable episodes gives the agent a time-ordered multimodal history before a new task. The agent must retrieve the right evidence, then navigate, open containers and move objects in the AI2-THOR simulator until the goal is reached. To make the tests harder, single rooms are joined into multi-room homes and distracting but executable interactions are inserted between the key clue and the request.
I ricercatori hanno esaminato innanzitutto 100 tentativi falliti di due modelli, Gemini-3-Flash e Qwen3-VL-32B, sulle suite di test di EmbodiedBench. Le cause erano precise: 35% derivava dalla mancanza di dettagli visivi fini, 31% dal mancato registro degli stati rivelati da un'interazione, 18% dal non notare i cambiamenti nell'ambiente e 7% dal non riutilizzare l'esperienza passata. Il benchmark trasforma queste quattro lacune in famiglie di compiti, e ciascuno dei suoi 2.554 episodi eseguibili fornisce all'agente una cronologia multimodale ordinata nel tempo prima di un nuovo compito. L'agente deve recuperare la prova giusta, poi spostarsi, aprire contenitori e spostare oggetti nel simulatore AI2-THOR fino al raggiungimento dell'obiettivo. Per rendere i test più difficili, le singole stanze vengono unite in case su più locali e tra l'indizio chiave e la richiesta vengono inserite interazioni che distraggono ma restano eseguibili.
The team's own answer is Embodied-Memorizer (EMem), an external memory system that stores experience as scene, spatial and event memories. Using GPT-5.4-mini as its backbone, EMem raised average success from 35.3% to 58.9%, which is 21.1 points above TeleMem, the next-best memory system tested. A fine-tuned 8-billion-parameter policy, EMem-8B, reached 46.0%, against a base model score 20.6 points lower. The result also clarifies a common shortcut. Simply feeding more history images did not help: success fell from 36.6% to 26.2%, while input tokens per episode rose from 41,770 to 206,489.
La risposta del team è Embodied-Memorizer (EMem), un sistema di memoria esterna che immagazzina l'esperienza come memorie di scena, spaziali ed eventi. Usando GPT-5.4-mini come modello di base, EMem ha portato il successo medio dal 35,3% al 58,9%, cioè 21,1 punti in più rispetto a TeleMem, il secondo sistema di memoria testato. Un modello da 8 miliardi di parametri ottimizzato, EMem-8B, ha raggiunto il 46,0%, contro un punteggio del modello di base inferiore di 20,6 punti. Il risultato chiarisce anche una scorciatoia diffusa. Fornire semplicemente più immagini della cronologia non ha aiutato: il successo è sceso dal 36,6% al 26,2%, mentre i token di input per episodio sono saliti da 41.770 a 206.489.
The baselines show how hard the benchmark is. With full context, Gemini-3-Flash led at 64.2%, followed by Gemini-2.5-Pro at 60.8%, Qwen3.6-27B at 58.2% and GPT-5.4 at 56.8%. All but one open-source model scored below 45%. For developers building home robots, the paper suggests that structuring experience can work better than piling on raw history. A benchmark like this also gives teams a shared yardstick, which matters for anyone who wants to compare systems on the same tasks.
I dati di riferimento mostrano quanto il benchmark sia impegnativo. Con il contesto completo, Gemini-3-Flash è in testa con il 64,2%, seguito da Gemini-2.5-Pro con il 60,8%, Qwen3.6-27B con il 58,2% e GPT-5.4 con il 56,8%. Tutti i modelli open source tranne uno hanno ottenuto meno del 45%. Per chi sviluppa robot domestici, l'articolo suggerisce che strutturare l'esperienza può funzionare meglio che accumulare cronologie grezze. Un benchmark del genere offre anche ai team un metro di confronto comune, cosa che conta per chiunque voglia confrontare sistemi sugli stessi compiti.
The limits are clear, and the authors name them. Every result comes from simulation, while a real robot must cope with sensor noise and execution errors that a virtual kitchen never produces. Until these systems run on physical hardware, the 58.9% figure measures the memory approach, not a robot that can be trusted to fetch the book. The next test is the one the authors themselves point to: testing EMem on physical robots that face sensor noise and execution errors.
I limiti sono chiari, e gli autori li elencano. Ogni risultato proviene dalla simulazione, mentre un robot reale deve fare i conti con il rumore dei sensori e con errori di esecuzione che una cucina virtuale non produce mai. Finché questi sistemi non funzioneranno su hardware fisico, il 58,9% misura l'approccio di memoria, non un robot di cui ci si possa fidare per recuperare il libro. Il prossimo test è quello che indicano gli stessi autori: verificare EMem su robot fisici alle prese con rumore dei sensori ed errori di esecuzione.