X Square Robot lance X2Real, un test de simulation pour robots IA

Un bras robotique doit être mis en marche, observé et noté, une tentative à la fois. Chaque nouvelle version d'un modèle d'IA robotique implique un nouveau cycle de ce travail, et le temps comme le coût s'accumulent rapidement. X Square Robot, une start-up d'IA incarnée, vient de publier X2Real, un benchmark de simulation destiné à mesurer les performances des modèles de fondation pour robots, c'est-à-dire de grands modèles d'IA entraînés à contrôler des robots, dans le monde physique, et à enrichir son jeu de tests au fur et à mesure que ces modèles progressent.

Le point de départ est un compromis bien connu. L'évaluation sur robots réels est coûteuse et lente, alors que la simulation est rapide mais souvent peu réaliste, et les modèles peuvent apprendre à y obtenir de bons scores sans progresser réellement. Pour rendre la simulation fidèle, l'équipe a enregistré les mouvements de bras robotiques physiques, rejoué les mêmes commandes de contrôle en simulation, puis ajusté les réponses articulaires jusqu'à ce que les deux correspondent. L'entreprise affirme obtenir ainsi une concordance au millimètre près entre les trajectoires. L'apparence visuelle et les contacts physiques ont également été calibrés. Le benchmark prend en charge le bras simple Franka, le bras double ArtiXon Arm-6A, l'ARX R5 et le manipulateur mobile Quanta X1.

Les chiffres phares appellent une lecture prudente. Sur les tâches de manipulation générale, X Square Robot annonce une corrélation de 0,96 entre les taux de réussite simulés et réels, et de 0,99 pour les scores de progression. Une corrélation proche de 1 signifie que les scores simulés évoluent comme les scores réels : un modèle qui obtient un meilleur score dans le simulateur devrait donc aussi mieux réussir sur le robot. Mais ces chiffres proviennent des propres tests de l'entreprise sur ce sous-ensemble de tâches. Aucun essai indépendant portant sur d'autres tâches n'a été rendu public dans les documents disponibles.

Le benchmark est lui-même vaste. Il couvre 44 tâches réparties en 10 catégories : quatre portant sur le raisonnement, dont la généralisation, la compréhension visuelle, la compréhension du langage et la mémoire, et cinq sur la manipulation, dont la manipulation fine, la coordination bimanuelle, l'utilisation d'outils, les objets dynamiques et la manipulation mobile. Un jeu de défis distinct cible la précision, la mémoire et la planification à long terme, avec des tâches comme l'empilement de blocs, l'appui sur des boutons selon une séquence de couleurs ou la résolution de la tour de Hanoï. L'entreprise affirme que la plupart des modèles actuels peinent encore sur ces épreuves. Pour éviter le surapprentissage, l'apparence, la configuration des tâches et le type de robot sont randomisés indépendamment. Les données d'entraînement, près de 300 heures enregistrées dans un studio uniforme à fond vert, sont séparées des scènes d'évaluation. La simulation s'appuie sur l'écosystème Mana, bâti sur NVIDIA Isaac Lab-Arena, qui regroupe scènes, robots et étapes de tâches sous forme de modules réutilisables.

Ce qui change pour les équipes qui conçoivent des modèles robotiques, c'est la rapidité de la boucle de retour. Les développeurs exécutent l'inférence sur leurs propres machines puis se connectent à la plateforme, qui se charge en ligne de la notation et de la relecture des trajectoires, sans qu'ils aient à installer de simulation en local. Deux agents d'IA font vivre l'ensemble de test. Le premier rédige de nouvelles tâches et scènes à partir d'un éventail d'options contraint, des vérifications automatiques éliminant les configurations invalides. Le second découpe chaque tâche en sous-tâches, évalue chaque étape à partir de la pose des objets, des contacts et de l'état de la préhension, puis génère de nouveaux tests ciblés là où un modèle échoue. Pour les chercheurs, cela signifie que les échecs peuvent apparaître avant même qu'un essai physique soit programmé. Les limites sont tout aussi claires : les corrélations sont celles de l'entreprise, elles ne concernent qu'un sous-ensemble de tâches, et les tests les plus difficiles sont précisément ceux où la plupart des modèles échouent encore.