SenseTime ouvre un banc d'essai pour l'IA robotique et un modèle 27B

In one of SenseTime's tests, stacking bowls took a model about 131 minutes and roughly $19 in estimated inference costs, the price of running the model on the task. Putting a pen into a pen holder took 263 minutes and about $55. Those were the bills for pushing GPT-6-Astra, a large AI model, to succeed on robot tasks once it was given training demonstrations and more steps. SenseTime has now put the tools for measuring that gap online, along with a model of its own.

Dans l'un des tests de SenseTime, empiler des bols a demandé à un modèle environ 131 minutes, pour un coût d'inférence estimé d'environ 19 dollars, soit le prix de l'exécution du modèle sur cette tâche. Ranger un stylo dans un pot à stylos a pris 263 minutes et environ 55 dollars. Ce sont les factures de GPT-6-Astra, un grand modèle d'IA, poussé à réussir des tâches robotiques une fois qu'il a reçu des démonstrations d'entraînement et davantage d'étapes. SenseTime met désormais en ligne les outils permettant de mesurer cet écart, ainsi qu'un modèle à lui.

SenseTime has open-sourced SenseNova-RoboRSI, a framework for evaluating embodied AI, meaning AI systems that control a physical body, here robots. It ships with a companion model, SenseNova-RoboRSI-27B-Preview, where 27B refers to a size of 27 billion parameters, the adjustable values inside a model. The framework packages each benchmark, a standardized test, and its dependencies into a separate Docker image, a sealed software container. It then exposes simulation and scoring through a unified HTTP API, the standard way programs exchange data over the web. SenseTime says researchers can run end-to-end evaluations from a configuration file, without installing each simulator by hand.

SenseTime a publié en open source SenseNova-RoboRSI, un cadre d'évaluation de l'IA incarnée, c'est-à-dire de systèmes d'IA qui contrôlent un corps physique, ici des robots. Il est livré avec un modèle compagnon, SenseNova-RoboRSI-27B-Preview, où 27B désigne une taille de 27 milliards de paramètres, les valeurs ajustables qui composent un modèle. Le cadre encapsule chaque banc d'essai, c'est-à-dire un test standardisé, et ses dépendances dans une image Docker distincte, un conteneur logiciel isolé. Il expose ensuite la simulation et la notation via une API HTTP unifiée, la façon standard dont les programmes échangent des données sur le web. SenseTime affirme que les chercheurs peuvent mener des évaluations de bout en bout à partir d'un fichier de configuration, sans installer chaque simulateur à la main.

The extended-budget results are where the study gets concrete. With training demonstrations and step limits raised to as much as 10 times the official settings, GPT-6-Astra saturated the LIBERO and SIMPLE benchmarks, meaning it hit their ceiling, and reached an 81.9% success rate on RoboDojo. In one case, nine RoboDojo tasks that had failed in all five attempts succeeded in all five once the model was allowed to keep interacting. The same study found its limits: the model remained weakest on long-horizon tasks, struggled to transfer skills from one task to another, and had trouble with deformable objects and fine control on real robots.

C'est dans les résultats obtenus avec un budget étendu que l'étude devient concrète. Avec des démonstrations d'entraînement et des limites d'étapes portées jusqu'à dix fois les réglages officiels, GPT-6-Astra a saturé les bancs LIBERO et SIMPLE, c'est-à-dire qu'il a atteint leur plafond, et a obtenu un taux de réussite de 81,9 % sur RoboDojo. Dans un cas, neuf tâches RoboDojo qui avaient échoué lors des cinq tentatives ont réussi lors des cinq, une fois que le modèle a pu continuer à interagir. La même étude a aussi mis en évidence ses limites : le modèle restait le plus faible sur les tâches à long terme, peinait à transférer des compétences d'une tâche à l'autre, et éprouvait des difficultés avec les objets déformables et le contrôle fin sur des robots réels.

SenseTime then paired a slow reasoning model with a fast action model. The best combination reached 54% success across 42 RoboDojo tasks, using a closed loop that checks each result before the next step. SenseTime says cost remains an issue.

SenseTime a ensuite associé un modèle de raisonnement lent à un modèle d'action rapide. La meilleure combinaison a atteint 54 % de réussite sur 42 tâches RoboDojo, grâce à une boucle fermée qui vérifie chaque résultat avant l'étape suivante. SenseTime reconnaît que le coût reste un problème.

The 27B model aims to bake tested experience into its weights, the internal values that define a model, so that it needs less trial and error. SenseTime reports it scored 26.13 on RoboDojo with a 20.83% task success rate, topped 90 on LIBERO-Pro, and raised its RoboCasa365 success rate from 26.0% to 46.5% while cutting token use by 73%. Tokens are the small chunks of text a model processes, so fewer tokens means less computation per task. The company says it completes embodied tasks at one-fiftieth of GPT-6-Astra's cost.

Le modèle 27B vise à intégrer l'expérience testée dans ses poids, les valeurs internes qui définissent un modèle, afin qu'il ait besoin de moins d'essais et d'erreurs. SenseTime indique qu'il a obtenu 26,13 sur RoboDojo avec un taux de réussite des tâches de 20,83 %, qu'il a dépassé 90 sur LIBERO-Pro, et qu'il a fait passer son taux de réussite sur RoboCasa365 de 26,0 % à 46,5 %, tout en réduisant l'usage de jetons de 73 %. Les jetons sont les petits fragments de texte qu'un modèle traite ; moins de jetons signifie donc moins de calcul par tâche. L'entreprise affirme qu'il accomplit les tâches incarnées pour un cinquantième du coût de GPT-6-Astra.

For robotics teams, the change is practical and immediate: the test bench is downloadable now, so two labs can run the same benchmarks from the same configuration file instead of rebuilding each simulator. SenseTime also argues that future benchmarks should be built around real human needs, that robots should learn by interacting, and that thinking time should count as world time, since a pan keeps heating while a model deliberates. None of these numbers has been independently verified, and the cost per task, which the company itself flags, is still the open problem.

Pour les équipes de robotique, le changement est concret et immédiat : le banc d'essai est désormais téléchargeable, de sorte que deux laboratoires peuvent exécuter les mêmes bancs d'essai à partir du même fichier de configuration, au lieu de reconstruire chaque simulateur. SenseTime soutient également que les futurs bancs d'essai devraient être conçus autour des besoins humains réels, que les robots devraient apprendre en interagissant, et que le temps de réflexion devrait compter comme du temps réel dans le monde, puisqu'une casserole continue de chauffer pendant qu'un modèle délibère. Aucun de ces chiffres n'a été vérifié de manière indépendante, et le coût par tâche, que l'entreprise signale elle-même, reste le problème ouvert.