X Square Robot lanza X2Real, un test de simulación para la IA robótica

Un brazo robótico hay que ponerlo en marcha, observarlo y puntuarlo intento a intento. Cada nueva versión de un modelo de IA para robots supone otra ronda de ese trabajo, y el tiempo y el coste se acumulan rápidamente. X Square Robot, una startup de IA encarnada, ha lanzado X2Real, un benchmark de simulación pensado para medir cómo funcionarán en el mundo físico los modelos fundacionales de robótica —grandes modelos de IA entrenados para controlar robots— y para ampliar su conjunto de pruebas a medida que esos modelos mejoran.

El punto de partida es un compromiso conocido. La evaluación con robots reales es cara y lenta, mientras que la simulación es rápida pero a menudo poco realista, y los modelos pueden aprender a obtener buenas puntuaciones en ella sin mejorar de verdad en el mundo real. Para que la simulación sea fiel, el equipo registró los movimientos de brazos robóticos físicos, reprodujo los mismos comandos de control en simulación y ajustó las respuestas de las articulaciones hasta que ambos coincidieron. La empresa afirma que así se logra una concordancia de a nivel de milímetro entre las trayectorias. También se calibraron el aspecto visual y el contacto físico. El benchmark admite el brazo único Franka, el bimanual ArtiXon Arm-6A, el ARX R5 y el manipulador móvil Quanta X1.

Las cifras principales deben leerse con cautela. En tareas generales de manipulación, X Square Robot informa de una correlación de 0,96 entre las tasas de éxito simuladas y reales, y de 0,99 en las puntuaciones de progreso. Una correlación cercana a 1 significa que las puntuaciones simuladas se mueven al mismo ritmo que las reales, de modo que un modelo que puntúa más alto en el simulador también debería puntuar más alto en el robot. Pero estos números proceden de las propias pruebas de la empresa sobre ese subconjunto de tareas. Según el material disponible, no se han publicado ensayos independientes sobre otras tareas.

El benchmark en sí es amplio. Abarca 44 tareas en 10 categorías: cuatro de razonamiento, entre ellas generalización, comprensión visual, comprensión del lenguaje y memoria, y cinco de manipulación, entre ellas manipulación fina, coordinación bimanual, uso de herramientas, objetos dinámicos y manipulación móvil. Un conjunto de desafíos aparte se centra en la precisión, la memoria y la planificación a largo plazo, con tareas como apilar bloques, pulsar botones siguiendo una secuencia de colores y resolver la Torre de Hanói. La empresa afirma que la mayoría de los modelos actuales aún tienen dificultades en ese terreno. Para evitar el sobreajuste, la apariencia, la configuración de la tarea y el tipo de robot se aleatorizan de forma independiente, y los datos de entrenamiento, casi 300 horas recogidas en un estudio uniforme de fondo verde, se mantienen separados de las escenas de evaluación. La simulación funciona sobre el ecosistema Mana, construido sobre NVIDIA Isaac Lab-Arena, que empaqueta escenas, robots y pasos de tarea como módulos reutilizables.

Lo que cambia para los equipos que desarrollan modelos de robots es la velocidad del ciclo de retroalimentación. Los desarrolladores ejecutan la inferencia en sus propias máquinas y se conectan a la plataforma, que gestiona en línea la puntuación y la reproducción de trayectorias, así que no necesitan montar una simulación local. Dos agentes de IA mantienen en movimiento el conjunto de pruebas: uno escribe nuevas tareas y escenas a partir de un menú limitado de opciones, y unas comprobaciones automáticas eliminan las configuraciones no válidas; el otro divide cada tarea en subtareas, evalúa cada paso a partir de las posiciones de los objetos, los contactos y los estados de agarre, y genera pruebas específicas allí donde falla un modelo. Para los investigadores, eso significa que los fallos pueden aparecer antes de que se programe una prueba física. Los límites son igual de claros: las correlaciones son cifras de la propia empresa, cubren un solo subconjunto de tareas, y las pruebas más difíciles son precisamente aquellas en las que la mayoría de los modelos todavía fracasan.