Omega-0 atteint 81,8 % sur 11 tâches domestiques

Un robot humanoïde marche, regarde et travaille en même temps. C’est ce qu’Omega-0 a été conçu pour apprendre, et ses créateurs annoncent 81,8 % de réussite sur 11 tâches domestiques réelles — devant pi-0.5, EgoVLA, GR00T-N1.7 et psi-0. Les chercheurs viennent de l’Université technologique de Nanyang, de l’Université de Pékin, de HKUST (Canton) et de la Beijing Academy of Artificial Intelligence, ou BAAI.

Le choix central du modèle concerne ce qu’il prédit. Au lieu de prévoir les pixels futurs, Omega-0 prévoit des caractéristiques visuelles futures — des informations sur ce que le robot devrait probablement voir — puis transmet ces caractéristiques à un transformer de diffusion, qui génère des actions coordonnées pour l’ensemble du corps. Le système combine vision, langage et proprioception, c’est-à-dire les propres mesures corporelles du robot, afin qu’une instruction et un environnement changeant puissent influencer le même plan d’action.

La base d’entraînement est Omega-HOME : 40,3 heures de données recueillies dans des environnements réels, 4 827 trajectoires et 24 types de tâches. Les démonstrations comprennent des vidéos à la première et à la troisième personne, des instructions en langage naturel, des données de proprioception et des mouvements du corps entier. Elles couvrent huit catégories de tâches domestiques, notamment aller chercher des objets, nettoyer des surfaces, utiliser des appareils et ranger ; les trajectoires ont été téléopérées puis converties en signaux d’entraînement.

Les chercheurs ont également conçu l’évaluation pour répondre à une préoccupation fondamentale de l’apprentissage robotique : les tâches de test sont-elles déjà apparues pendant l’entraînement ? Ils ont retiré les 11 tâches de fine-tuning d’Omega-HOME, puis combiné les données restantes avec des démonstrations publiques réalisées par des humains pour une étape d’entraînement antérieure. La comparaison ainsi obtenue est plus significative, même si le résultat reste un benchmark de recherche et ne constitue pas la preuve d’une autonomie domestique fiable.

Qu’est-ce que cela change en pratique ? Omega-0 propose une méthode plus claire pour concevoir des robots qui doivent percevoir en continu leur environnement domestique et coordonner tout leur corps, plutôt que de simplement déplacer un bras vers une cible connue. Le modèle pourrait aider les chercheurs à tester des capacités domestiques comme aller chercher des objets, nettoyer et utiliser des appareils dans le cadre d’un dispositif d’entraînement commun. Mais l’autonomie sur de longues séquences, les interactions sûres, la généralisation à de nouvelles tâches et l’adaptation à des environnements complexes restent des problèmes ouverts, et l’équipe présente le pliage fiable du linge comme un objectif encore lointain.