Las dos versiones están alineadas bloque a bloque, en el orden del texto: titular, lo esencial y después párrafo a párrafo. Cuando la traducción ha fusionado o dividido un párrafo, la casilla correspondiente queda vacía — nunca emparejamos dos pasajes a ojo.
A robot arm has to be run, watched and scored one attempt at a time. Each new version of a robot AI model means another round of that work, and the time and cost add up quickly. X Square Robot, an embodied AI startup, has released X2Real, a simulation benchmark meant to measure how robot foundation models — large AI models trained to control robots — will perform in the physical world, and to keep expanding its test set as those models improve.
Un brazo robótico hay que ponerlo en marcha, observarlo y puntuarlo intento a intento. Cada nueva versión de un modelo de IA para robots supone otra ronda de ese trabajo, y el tiempo y el coste se acumulan rápidamente. X Square Robot, una startup de IA encarnada, ha lanzado X2Real, un benchmark de simulación pensado para medir cómo funcionarán en el mundo físico los modelos fundacionales de robótica —grandes modelos de IA entrenados para controlar robots— y para ampliar su conjunto de pruebas a medida que esos modelos mejoran.
The starting point is a familiar trade-off. Real-robot evaluation is expensive and slow, while simulation is fast but often unrealistic, and models can learn to score well on it without getting better at the real thing. To make the simulation faithful, the team recorded movements from physical robot arms, replayed the same control commands in simulation, and tuned the joint responses until the two matched. The company says this yields millimeter-level agreement between the trajectories. Visual appearance and physical contact were calibrated as well. The benchmark supports the single-arm Franka, the dual-arm ArtiXon Arm-6A, the ARX R5 and the Quanta X1 mobile manipulator.
El punto de partida es un compromiso conocido. La evaluación con robots reales es cara y lenta, mientras que la simulación es rápida pero a menudo poco realista, y los modelos pueden aprender a obtener buenas puntuaciones en ella sin mejorar de verdad en el mundo real. Para que la simulación sea fiel, el equipo registró los movimientos de brazos robóticos físicos, reprodujo los mismos comandos de control en simulación y ajustó las respuestas de las articulaciones hasta que ambos coincidieron. La empresa afirma que así se logra una concordancia de a nivel de milímetro entre las trayectorias. También se calibraron el aspecto visual y el contacto físico. El benchmark admite el brazo único Franka, el bimanual ArtiXon Arm-6A, el ARX R5 y el manipulador móvil Quanta X1.
The headline figures need reading with care. On general manipulation tasks, X Square Robot reports a 0.96 correlation between simulated and real-world task success rates, and 0.99 for progress scores. A correlation close to 1 means that the simulated scores move with the real ones, so a model that scores higher in the simulator should also score higher on the robot. But these numbers come from the company's own testing on that task subset. Independent trials across other tasks have not been reported in the material available.
Las cifras principales deben leerse con cautela. En tareas generales de manipulación, X Square Robot informa de una correlación de 0,96 entre las tasas de éxito simuladas y reales, y de 0,99 en las puntuaciones de progreso. Una correlación cercana a 1 significa que las puntuaciones simuladas se mueven al mismo ritmo que las reales, de modo que un modelo que puntúa más alto en el simulador también debería puntuar más alto en el robot. Pero estos números proceden de las propias pruebas de la empresa sobre ese subconjunto de tareas. Según el material disponible, no se han publicado ensayos independientes sobre otras tareas.
The benchmark itself is broad. It covers 44 tasks in 10 categories: four on reasoning, including generalization, visual understanding, language understanding and memory, and five on manipulation, including fine manipulation, bimanual coordination, tool use, dynamic objects and mobile manipulation. A separate challenge set targets precision, long-horizon memory and planning, with tasks such as stacking blocks, pressing buttons in a color sequence and solving the Tower of Hanoi. The company says most current models still struggle there. To avoid overfitting, appearance, task setup and robot type are randomized independently, and the training data, nearly 300 hours collected in a uniform green-screen studio, is kept separate from the evaluation scenes. The simulation runs on the Mana ecosystem, built on NVIDIA Isaac Lab-Arena, which packages scenes, robots and task steps as reusable modules.
El benchmark en sí es amplio. Abarca 44 tareas en 10 categorías: cuatro de razonamiento, entre ellas generalización, comprensión visual, comprensión del lenguaje y memoria, y cinco de manipulación, entre ellas manipulación fina, coordinación bimanual, uso de herramientas, objetos dinámicos y manipulación móvil. Un conjunto de desafíos aparte se centra en la precisión, la memoria y la planificación a largo plazo, con tareas como apilar bloques, pulsar botones siguiendo una secuencia de colores y resolver la Torre de Hanói. La empresa afirma que la mayoría de los modelos actuales aún tienen dificultades en ese terreno. Para evitar el sobreajuste, la apariencia, la configuración de la tarea y el tipo de robot se aleatorizan de forma independiente, y los datos de entrenamiento, casi 300 horas recogidas en un estudio uniforme de fondo verde, se mantienen separados de las escenas de evaluación. La simulación funciona sobre el ecosistema Mana, construido sobre NVIDIA Isaac Lab-Arena, que empaqueta escenas, robots y pasos de tarea como módulos reutilizables.
What changes for teams building robot models is the speed of the feedback loop. Developers run inference on their own machines and connect to the platform, which handles scoring and trajectory replay online, so they do not need to set up a local simulation. Two AI agents keep the test set moving: one writes new tasks and scenes from a constrained menu of options, with automatic checks removing invalid setups, and the other breaks each task into subtasks, judges each step from object poses, contacts and grasp states, and generates targeted new tests wherever a model fails. For researchers, that means failures can surface before a physical trial is scheduled. The limits are equally clear: the correlation figures are the company's own, they cover one subset of tasks, and the hardest tests are the ones where most models still fail.
Lo que cambia para los equipos que desarrollan modelos de robots es la velocidad del ciclo de retroalimentación. Los desarrolladores ejecutan la inferencia en sus propias máquinas y se conectan a la plataforma, que gestiona en línea la puntuación y la reproducción de trayectorias, así que no necesitan montar una simulación local. Dos agentes de IA mantienen en movimiento el conjunto de pruebas: uno escribe nuevas tareas y escenas a partir de un menú limitado de opciones, y unas comprobaciones automáticas eliminan las configuraciones no válidas; el otro divide cada tarea en subtareas, evalúa cada paso a partir de las posiciones de los objetos, los contactos y los estados de agarre, y genera pruebas específicas allí donde falla un modelo. Para los investigadores, eso significa que los fallos pueden aparecer antes de que se programe una prueba física. Los límites son igual de claros: las correlaciones son cifras de la propia empresa, cubren un solo subconjunto de tareas, y las pruebas más difíciles son precisamente aquellas en las que la mayoría de los modelos todavía fracasan.