Les deux versions sont alignées bloc par bloc, dans l’ordre du texte : titre, l’essentiel, puis paragraphe par paragraphe. Quand la traduction a fusionné ou scindé un paragraphe, la case correspondante reste vide — on ne rapproche jamais deux passages au jugé.
A robot arm has to be run, watched and scored one attempt at a time. Each new version of a robot AI model means another round of that work, and the time and cost add up quickly. X Square Robot, an embodied AI startup, has released X2Real, a simulation benchmark meant to measure how robot foundation models — large AI models trained to control robots — will perform in the physical world, and to keep expanding its test set as those models improve.
Un bras robotique doit être mis en marche, observé et noté, une tentative à la fois. Chaque nouvelle version d'un modèle d'IA robotique implique un nouveau cycle de ce travail, et le temps comme le coût s'accumulent rapidement. X Square Robot, une start-up d'IA incarnée, vient de publier X2Real, un benchmark de simulation destiné à mesurer les performances des modèles de fondation pour robots, c'est-à-dire de grands modèles d'IA entraînés à contrôler des robots, dans le monde physique, et à enrichir son jeu de tests au fur et à mesure que ces modèles progressent.
The starting point is a familiar trade-off. Real-robot evaluation is expensive and slow, while simulation is fast but often unrealistic, and models can learn to score well on it without getting better at the real thing. To make the simulation faithful, the team recorded movements from physical robot arms, replayed the same control commands in simulation, and tuned the joint responses until the two matched. The company says this yields millimeter-level agreement between the trajectories. Visual appearance and physical contact were calibrated as well. The benchmark supports the single-arm Franka, the dual-arm ArtiXon Arm-6A, the ARX R5 and the Quanta X1 mobile manipulator.
Le point de départ est un compromis bien connu. L'évaluation sur robots réels est coûteuse et lente, alors que la simulation est rapide mais souvent peu réaliste, et les modèles peuvent apprendre à y obtenir de bons scores sans progresser réellement. Pour rendre la simulation fidèle, l'équipe a enregistré les mouvements de bras robotiques physiques, rejoué les mêmes commandes de contrôle en simulation, puis ajusté les réponses articulaires jusqu'à ce que les deux correspondent. L'entreprise affirme obtenir ainsi une concordance au millimètre près entre les trajectoires. L'apparence visuelle et les contacts physiques ont également été calibrés. Le benchmark prend en charge le bras simple Franka, le bras double ArtiXon Arm-6A, l'ARX R5 et le manipulateur mobile Quanta X1.
The headline figures need reading with care. On general manipulation tasks, X Square Robot reports a 0.96 correlation between simulated and real-world task success rates, and 0.99 for progress scores. A correlation close to 1 means that the simulated scores move with the real ones, so a model that scores higher in the simulator should also score higher on the robot. But these numbers come from the company's own testing on that task subset. Independent trials across other tasks have not been reported in the material available.
Les chiffres phares appellent une lecture prudente. Sur les tâches de manipulation générale, X Square Robot annonce une corrélation de 0,96 entre les taux de réussite simulés et réels, et de 0,99 pour les scores de progression. Une corrélation proche de 1 signifie que les scores simulés évoluent comme les scores réels : un modèle qui obtient un meilleur score dans le simulateur devrait donc aussi mieux réussir sur le robot. Mais ces chiffres proviennent des propres tests de l'entreprise sur ce sous-ensemble de tâches. Aucun essai indépendant portant sur d'autres tâches n'a été rendu public dans les documents disponibles.
The benchmark itself is broad. It covers 44 tasks in 10 categories: four on reasoning, including generalization, visual understanding, language understanding and memory, and five on manipulation, including fine manipulation, bimanual coordination, tool use, dynamic objects and mobile manipulation. A separate challenge set targets precision, long-horizon memory and planning, with tasks such as stacking blocks, pressing buttons in a color sequence and solving the Tower of Hanoi. The company says most current models still struggle there. To avoid overfitting, appearance, task setup and robot type are randomized independently, and the training data, nearly 300 hours collected in a uniform green-screen studio, is kept separate from the evaluation scenes. The simulation runs on the Mana ecosystem, built on NVIDIA Isaac Lab-Arena, which packages scenes, robots and task steps as reusable modules.
Le benchmark est lui-même vaste. Il couvre 44 tâches réparties en 10 catégories : quatre portant sur le raisonnement, dont la généralisation, la compréhension visuelle, la compréhension du langage et la mémoire, et cinq sur la manipulation, dont la manipulation fine, la coordination bimanuelle, l'utilisation d'outils, les objets dynamiques et la manipulation mobile. Un jeu de défis distinct cible la précision, la mémoire et la planification à long terme, avec des tâches comme l'empilement de blocs, l'appui sur des boutons selon une séquence de couleurs ou la résolution de la tour de Hanoï. L'entreprise affirme que la plupart des modèles actuels peinent encore sur ces épreuves. Pour éviter le surapprentissage, l'apparence, la configuration des tâches et le type de robot sont randomisés indépendamment. Les données d'entraînement, près de 300 heures enregistrées dans un studio uniforme à fond vert, sont séparées des scènes d'évaluation. La simulation s'appuie sur l'écosystème Mana, bâti sur NVIDIA Isaac Lab-Arena, qui regroupe scènes, robots et étapes de tâches sous forme de modules réutilisables.
What changes for teams building robot models is the speed of the feedback loop. Developers run inference on their own machines and connect to the platform, which handles scoring and trajectory replay online, so they do not need to set up a local simulation. Two AI agents keep the test set moving: one writes new tasks and scenes from a constrained menu of options, with automatic checks removing invalid setups, and the other breaks each task into subtasks, judges each step from object poses, contacts and grasp states, and generates targeted new tests wherever a model fails. For researchers, that means failures can surface before a physical trial is scheduled. The limits are equally clear: the correlation figures are the company's own, they cover one subset of tasks, and the hardest tests are the ones where most models still fail.
Ce qui change pour les équipes qui conçoivent des modèles robotiques, c'est la rapidité de la boucle de retour. Les développeurs exécutent l'inférence sur leurs propres machines puis se connectent à la plateforme, qui se charge en ligne de la notation et de la relecture des trajectoires, sans qu'ils aient à installer de simulation en local. Deux agents d'IA font vivre l'ensemble de test. Le premier rédige de nouvelles tâches et scènes à partir d'un éventail d'options contraint, des vérifications automatiques éliminant les configurations invalides. Le second découpe chaque tâche en sous-tâches, évalue chaque étape à partir de la pose des objets, des contacts et de l'état de la préhension, puis génère de nouveaux tests ciblés là où un modèle échoue. Pour les chercheurs, cela signifie que les échecs peuvent apparaître avant même qu'un essai physique soit programmé. Les limites sont tout aussi claires : les corrélations sont celles de l'entreprise, elles ne concernent qu'un sous-ensemble de tâches, et les tests les plus difficiles sont précisément ceux où la plupart des modèles échouent encore.