SenseTime ouvre un banc d'essai pour l'IA robotique et un modèle 27B

Dans l'un des tests de SenseTime, empiler des bols a demandé à un modèle environ 131 minutes, pour un coût d'inférence estimé d'environ 19 dollars, soit le prix de l'exécution du modèle sur cette tâche. Ranger un stylo dans un pot à stylos a pris 263 minutes et environ 55 dollars. Ce sont les factures de GPT-6-Astra, un grand modèle d'IA, poussé à réussir des tâches robotiques une fois qu'il a reçu des démonstrations d'entraînement et davantage d'étapes. SenseTime met désormais en ligne les outils permettant de mesurer cet écart, ainsi qu'un modèle à lui.

SenseTime a publié en open source SenseNova-RoboRSI, un cadre d'évaluation de l'IA incarnée, c'est-à-dire de systèmes d'IA qui contrôlent un corps physique, ici des robots. Il est livré avec un modèle compagnon, SenseNova-RoboRSI-27B-Preview, où 27B désigne une taille de 27 milliards de paramètres, les valeurs ajustables qui composent un modèle. Le cadre encapsule chaque banc d'essai, c'est-à-dire un test standardisé, et ses dépendances dans une image Docker distincte, un conteneur logiciel isolé. Il expose ensuite la simulation et la notation via une API HTTP unifiée, la façon standard dont les programmes échangent des données sur le web. SenseTime affirme que les chercheurs peuvent mener des évaluations de bout en bout à partir d'un fichier de configuration, sans installer chaque simulateur à la main.

C'est dans les résultats obtenus avec un budget étendu que l'étude devient concrète. Avec des démonstrations d'entraînement et des limites d'étapes portées jusqu'à dix fois les réglages officiels, GPT-6-Astra a saturé les bancs LIBERO et SIMPLE, c'est-à-dire qu'il a atteint leur plafond, et a obtenu un taux de réussite de 81,9 % sur RoboDojo. Dans un cas, neuf tâches RoboDojo qui avaient échoué lors des cinq tentatives ont réussi lors des cinq, une fois que le modèle a pu continuer à interagir. La même étude a aussi mis en évidence ses limites : le modèle restait le plus faible sur les tâches à long terme, peinait à transférer des compétences d'une tâche à l'autre, et éprouvait des difficultés avec les objets déformables et le contrôle fin sur des robots réels.

SenseTime a ensuite associé un modèle de raisonnement lent à un modèle d'action rapide. La meilleure combinaison a atteint 54 % de réussite sur 42 tâches RoboDojo, grâce à une boucle fermée qui vérifie chaque résultat avant l'étape suivante. SenseTime reconnaît que le coût reste un problème.

Le modèle 27B vise à intégrer l'expérience testée dans ses poids, les valeurs internes qui définissent un modèle, afin qu'il ait besoin de moins d'essais et d'erreurs. SenseTime indique qu'il a obtenu 26,13 sur RoboDojo avec un taux de réussite des tâches de 20,83 %, qu'il a dépassé 90 sur LIBERO-Pro, et qu'il a fait passer son taux de réussite sur RoboCasa365 de 26,0 % à 46,5 %, tout en réduisant l'usage de jetons de 73 %. Les jetons sont les petits fragments de texte qu'un modèle traite ; moins de jetons signifie donc moins de calcul par tâche. L'entreprise affirme qu'il accomplit les tâches incarnées pour un cinquantième du coût de GPT-6-Astra.

Pour les équipes de robotique, le changement est concret et immédiat : le banc d'essai est désormais téléchargeable, de sorte que deux laboratoires peuvent exécuter les mêmes bancs d'essai à partir du même fichier de configuration, au lieu de reconstruire chaque simulateur. SenseTime soutient également que les futurs bancs d'essai devraient être conçus autour des besoins humains réels, que les robots devraient apprendre en interagissant, et que le temps de réflexion devrait compter comme du temps réel dans le monde, puisqu'une casserole continue de chauffer pendant qu'un modèle délibère. Aucun de ces chiffres n'a été vérifié de manière indépendante, et le coût par tâche, que l'entreprise signale elle-même, reste le problème ouvert.