Un sistema di memoria porta al 58,9% il successo dei robot domestici simulati

A un robot viene chiesto di recuperare un libro che ha visto sul tavolino del salotto un'ora prima. Nel frattempo ha completato altre faccende, quindi cerca in ogni stanza, oppure continua a tirare un cassetto che aveva già trovato chiuso a chiave. È il fallimento quotidiano che un team dell'OmniAI Group dell'Università dello Zhejiang ha voluto misurare. Il loro benchmark, EmbodiedMemory-Bench (EMem-Bench), verifica se gli agenti di IA incorporati, cioè software che agisce attraverso un corpo o un corpo simulato, sono in grado di costruire una memoria a partire da lunghe storie di interazione e di agire di conseguenza.

I ricercatori hanno esaminato innanzitutto 100 tentativi falliti di due modelli, Gemini-3-Flash e Qwen3-VL-32B, sulle suite di test di EmbodiedBench. Le cause erano precise: 35% derivava dalla mancanza di dettagli visivi fini, 31% dal mancato registro degli stati rivelati da un'interazione, 18% dal non notare i cambiamenti nell'ambiente e 7% dal non riutilizzare l'esperienza passata. Il benchmark trasforma queste quattro lacune in famiglie di compiti, e ciascuno dei suoi 2.554 episodi eseguibili fornisce all'agente una cronologia multimodale ordinata nel tempo prima di un nuovo compito. L'agente deve recuperare la prova giusta, poi spostarsi, aprire contenitori e spostare oggetti nel simulatore AI2-THOR fino al raggiungimento dell'obiettivo. Per rendere i test più difficili, le singole stanze vengono unite in case su più locali e tra l'indizio chiave e la richiesta vengono inserite interazioni che distraggono ma restano eseguibili.

La risposta del team è Embodied-Memorizer (EMem), un sistema di memoria esterna che immagazzina l'esperienza come memorie di scena, spaziali ed eventi. Usando GPT-5.4-mini come modello di base, EMem ha portato il successo medio dal 35,3% al 58,9%, cioè 21,1 punti in più rispetto a TeleMem, il secondo sistema di memoria testato. Un modello da 8 miliardi di parametri ottimizzato, EMem-8B, ha raggiunto il 46,0%, contro un punteggio del modello di base inferiore di 20,6 punti. Il risultato chiarisce anche una scorciatoia diffusa. Fornire semplicemente più immagini della cronologia non ha aiutato: il successo è sceso dal 36,6% al 26,2%, mentre i token di input per episodio sono saliti da 41.770 a 206.489.

I dati di riferimento mostrano quanto il benchmark sia impegnativo. Con il contesto completo, Gemini-3-Flash è in testa con il 64,2%, seguito da Gemini-2.5-Pro con il 60,8%, Qwen3.6-27B con il 58,2% e GPT-5.4 con il 56,8%. Tutti i modelli open source tranne uno hanno ottenuto meno del 45%. Per chi sviluppa robot domestici, l'articolo suggerisce che strutturare l'esperienza può funzionare meglio che accumulare cronologie grezze. Un benchmark del genere offre anche ai team un metro di confronto comune, cosa che conta per chiunque voglia confrontare sistemi sugli stessi compiti.

I limiti sono chiari, e gli autori li elencano. Ogni risultato proviene dalla simulazione, mentre un robot reale deve fare i conti con il rumore dei sensori e con errori di esecuzione che una cucina virtuale non produce mai. Finché questi sistemi non funzioneranno su hardware fisico, il 58,9% misura l'approccio di memoria, non un robot di cui ci si possa fidare per recuperare il libro. Il prossimo test è quello che indicano gli stessi autori: verificare EMem su robot fisici alle prese con rumore dei sensori ed errori di esecuzione.