SenseTime abre su kit de pruebas de IA robótica y un modelo 27B

En una de las pruebas de SenseTime, apilar cuencos tardó a un modelo unos 131 minutos y unos 19 dólares en costes estimados de inferencia, es decir, el precio de ejecutar el modelo en la tarea. Meter un bolígrafo en un portalápices tardó 263 minutos y unos 55 dólares. Esas fueron las facturas de llevar a GPT-6-Astra, un gran modelo de IA, a completar tareas robóticas cuando recibió demostraciones de entrenamiento y más pasos. SenseTime ha puesto ahora en línea las herramientas para medir esa brecha, junto con un modelo propio.

SenseTime ha publicado en abierto SenseNova-RoboRSI, un marco para evaluar la IA encarnada, es decir, sistemas de IA que controlan un cuerpo físico, en este caso robots. Viene acompañado de un modelo complementario, SenseNova-RoboRSI-27B-Preview, donde 27B indica un tamaño de 27.000 millones de parámetros, los valores ajustables que contiene un modelo. El marco empaqueta cada prueba de referencia, un test estandarizado, y sus dependencias en una imagen Docker independiente, es decir, un contenedor de software aislado. Después expone la simulación y la puntuación a través de una API HTTP unificada, la forma habitual en que los programas intercambian datos por la web. SenseTime afirma que los investigadores pueden ejecutar evaluaciones completas desde un archivo de configuración, sin instalar cada simulador a mano.

Los resultados con presupuesto ampliado son donde el estudio se vuelve concreto. Con demostraciones de entrenamiento y límites de pasos elevados hasta 10 veces los ajustes oficiales, GPT-6-Astra saturó los benchmarks LIBERO y SIMPLE, lo que significa que alcanzó su techo, y logró una tasa de éxito del 81,9 % en RoboDojo. En un caso, nueve tareas de RoboDojo que habían fallado en los cinco intentos tuvieron éxito en los cinco una vez que se le permitió seguir interactuando. El mismo estudio también halló sus límites: el modelo siguió siendo más débil en tareas de largo horizonte, le costó transferir habilidades de una tarea a otra y tuvo dificultades con los objetos deformables y el control fino en robots reales.

Después, SenseTime combinó un modelo de razonamiento lento con un modelo de acción rápido. La mejor combinación alcanzó un éxito del 54 % en 42 tareas de RoboDojo, usando un bucle cerrado que verifica cada resultado antes del siguiente paso. SenseTime afirma que el coste sigue siendo un problema.

El modelo de 27B pretende incorporar la experiencia probada a sus pesos, los valores internos que definen un modelo, de modo que necesite menos ensayo y error. SenseTime indica que obtuvo 26,13 puntos en RoboDojo con una tasa de éxito de tareas del 20,83 %, superó los 90 puntos en LIBERO-Pro y elevó su tasa de éxito en RoboCasa365 del 26,0 % al 46,5 % mientras reducía el uso de tokens un 73 %. Los tokens son los pequeños fragmentos de texto que procesa un modelo, así que menos tokens significa menos cálculo por tarea. La empresa afirma que completa las tareas encarnadas a una cincuentava parte del coste de GPT-6-Astra.

Para los equipos de robótica, el cambio es práctico e inmediato: el banco de pruebas ya se puede descargar, de modo que dos laboratorios pueden ejecutar los mismos benchmarks desde el mismo archivo de configuración en lugar de reconstruir cada simulador. SenseTime sostiene además que los futuros benchmarks deberían construirse en torno a necesidades humanas reales, que los robots deberían aprender interactuando y que el tiempo de razonamiento debería contar como tiempo del mundo real, ya que una sartén sigue calentándose mientras el modelo delibera. Ninguna de estas cifras ha sido verificada de forma independiente, y el coste por tarea, que la propia empresa señala, sigue siendo el problema pendiente.