Le due versioni sono allineate blocco per blocco, nell’ordine del testo: titolo, l’essenziale, poi paragrafo per paragrafo. Quando la traduzione ha fuso o diviso un paragrafo, la casella corrispondente resta vuota — non accostiamo mai due passaggi a occhio.
A robot arm has to be run, watched and scored one attempt at a time. Each new version of a robot AI model means another round of that work, and the time and cost add up quickly. X Square Robot, an embodied AI startup, has released X2Real, a simulation benchmark meant to measure how robot foundation models — large AI models trained to control robots — will perform in the physical world, and to keep expanding its test set as those models improve.
Un braccio robotico va fatto funzionare, osservato e valutato un tentativo alla volta. Ogni nuova versione di un modello di IA per robot comporta un altro ciclo di questo lavoro, e tempi e costi si accumulano rapidamente. X Square Robot, una startup di IA incorporata, ha presentato X2Real, un benchmark in simulazione che serve a misurare il rendimento nel mondo fisico dei modelli di base per robot — grandi modelli di IA addestrati a controllare i robot — e ad ampliare il proprio insieme di test man mano che questi modelli migliorano.
The starting point is a familiar trade-off. Real-robot evaluation is expensive and slow, while simulation is fast but often unrealistic, and models can learn to score well on it without getting better at the real thing. To make the simulation faithful, the team recorded movements from physical robot arms, replayed the same control commands in simulation, and tuned the joint responses until the two matched. The company says this yields millimeter-level agreement between the trajectories. Visual appearance and physical contact were calibrated as well. The benchmark supports the single-arm Franka, the dual-arm ArtiXon Arm-6A, the ARX R5 and the Quanta X1 mobile manipulator.
Il punto di partenza è un compromesso ben noto. La valutazione con robot reali è costosa e lenta, mentre la simulazione è rapida ma spesso poco realistica, e i modelli possono imparare a ottenere buoni punteggi senza migliorare davvero nel mondo reale. Per rendere la simulazione fedele, il team ha registrato i movimenti di bracci robotici fisici, ha riprodotto gli stessi comandi di controllo in simulazione e ha regolato le risposte dei giunti finché i due non coincidevano. Secondo l'azienda, ciò produce una corrispondenza a livello di millimetro tra le traiettorie. Anche l'aspetto visivo e il contatto fisico sono stati calibrati. Il benchmark supporta il Franka a braccio singolo, l'ArtiXon Arm-6A a doppio braccio, l'ARX R5 e il manipolatore mobile Quanta X1.
The headline figures need reading with care. On general manipulation tasks, X Square Robot reports a 0.96 correlation between simulated and real-world task success rates, and 0.99 for progress scores. A correlation close to 1 means that the simulated scores move with the real ones, so a model that scores higher in the simulator should also score higher on the robot. But these numbers come from the company's own testing on that task subset. Independent trials across other tasks have not been reported in the material available.
I dati principali vanno letti con attenzione. Sui compiti generali di manipolazione, X Square Robot riporta una correlazione di 0,96 tra i tassi di successo simulati e quelli reali, e di 0,99 per i punteggi di avanzamento. Una correlazione vicina a 1 significa che i punteggi simulati si muovono di pari passo con quelli reali, quindi un modello che ottiene un punteggio più alto nel simulatore dovrebbe ottenerne uno più alto anche sul robot. Ma questi numeri provengono dai test dell'azienda su quel sottoinsieme di compiti. Nel materiale disponibile non sono riportate prove indipendenti su altri compiti.
The benchmark itself is broad. It covers 44 tasks in 10 categories: four on reasoning, including generalization, visual understanding, language understanding and memory, and five on manipulation, including fine manipulation, bimanual coordination, tool use, dynamic objects and mobile manipulation. A separate challenge set targets precision, long-horizon memory and planning, with tasks such as stacking blocks, pressing buttons in a color sequence and solving the Tower of Hanoi. The company says most current models still struggle there. To avoid overfitting, appearance, task setup and robot type are randomized independently, and the training data, nearly 300 hours collected in a uniform green-screen studio, is kept separate from the evaluation scenes. The simulation runs on the Mana ecosystem, built on NVIDIA Isaac Lab-Arena, which packages scenes, robots and task steps as reusable modules.
Il benchmark è di per sé ampio. Comprende 44 compiti in 10 categorie: quattro sul ragionamento, tra cui generalizzazione, comprensione visiva, comprensione del linguaggio e memoria, e cinque sulla manipolazione, tra cui manipolazione fine, coordinazione bimanuale, uso di strumenti, oggetti dinamici e manipolazione mobile. Un insieme di sfide a parte mette alla prova precisione, memoria e pianificazione a lungo termine, con compiti come l'impilamento di blocchi, la pressione di pulsanti in una sequenza di colori e la risoluzione della Torre di Hanoi. Secondo l'azienda, la maggior parte dei modelli attuali fatica ancora su questi compiti. Per evitare l'overfitting, aspetto visivo, impostazione dei compiti e tipo di robot vengono randomizzati in modo indipendente, e i dati di addestramento, quasi 300 ore raccolte in uno studio uniforme con sfondo verde, sono tenuti separati dalle scene di valutazione. La simulazione gira sull'ecosistema Mana, costruito su NVIDIA Isaac Lab-Arena, che organizza scene, robot e fasi dei compiti in moduli riutilizzabili.
What changes for teams building robot models is the speed of the feedback loop. Developers run inference on their own machines and connect to the platform, which handles scoring and trajectory replay online, so they do not need to set up a local simulation. Two AI agents keep the test set moving: one writes new tasks and scenes from a constrained menu of options, with automatic checks removing invalid setups, and the other breaks each task into subtasks, judges each step from object poses, contacts and grasp states, and generates targeted new tests wherever a model fails. For researchers, that means failures can surface before a physical trial is scheduled. The limits are equally clear: the correlation figures are the company's own, they cover one subset of tasks, and the hardest tests are the ones where most models still fail.
Ciò che cambia per i team che sviluppano modelli per robot è la velocità del ciclo di feedback. Gli sviluppatori eseguono l'inferenza sulle proprie macchine e si collegano alla piattaforma, che gestisce online la valutazione e la riproduzione delle traiettorie, quindi non hanno bisogno di configurare una simulazione in locale. Due agenti di IA tengono in movimento l'insieme dei test: uno scrive nuovi compiti e scenari a partire da un menu limitato di opzioni, con controlli automatici che eliminano le configurazioni non valide; l'altro scompone ogni compito in sottocompiti, valuta ciascuna fase in base alla posizione degli oggetti, ai contatti e allo stato della presa, e genera nuovi test mirati ogni volta che un modello fallisce. Per i ricercatori, ciò significa che gli errori possono emergere prima che venga programmata una prova fisica. I limiti sono altrettanto chiari: le correlazioni sono dell'azienda stessa, riguardano un solo sottoinsieme di compiti, e i test più difficili sono quelli in cui la maggior parte dei modelli fallisce ancora.