Un robot apprend une compétence en 29 secondes grâce à une vidéo

Un humain effectue une tâche une fois devant une caméra. Quelques secondes plus tard, un robot à deux bras tente une manipulation du même type, sans nouvelle phase d’entraînement. C’est le résultat obtenu avec HOST, un framework développé par des chercheurs de l’Institut de technologie de Beijing, de X Square Robot et de l’Université Tsinghua : 29 secondes en moyenne pour acquérir une nouvelle compétence à partir d’une démonstration humaine.

Le système a été testé sur 50 tâches physiques inédites, impliquant différents objets, outils et mouvements. Chaque tâche a été tentée 20 fois, les objets étant placés dans des positions ou orientations initiales différentes. Des évaluateurs humains ont jugé les essais, qui ont abouti à un taux de réussite moyen de 62 %. Phys.org rapporte également que HOST a conservé les compétences déjà maîtrisées par le robot.

L’astuce ne consiste pas à copier les articulations de l’humain. HOST utilise d’abord les images des caméras pour estimer la progression du robot dans la procédure montrée. Il prédit ensuite les observations suivantes depuis le point de vue et selon la structure corporelle du robot, avant de transformer ces observations prédites en actions. Cette boucle répétée permet au robot de suivre la procédure de l’humain tout en l’adaptant à sa propre morphologie.

Cela compte, car l’acquisition conventionnelle de compétences peut nécessiter une boucle d’entraînement coûteuse et de nombreuses démonstrations propres à chaque tâche. Pandaily décrit l’approche dominante comme un pilotage à distance suivi d’un affinage, tandis que les chercheurs indiquent que HOST a dépassé une référence affinée à partir de 50 démonstrations robotiques par tâche et acquis chaque compétence 507 fois plus vite. Le framework lui-même avait été entraîné auparavant sur 193 462 trajectoires robotiques couvrant 229 tâches, puis adapté à l’aide de 5 847 vidéos de démonstrations humaines.

Qu’est-ce que cela change en pratique ? Un opérateur pourrait enregistrer une tâche une seule fois au lieu de constituer un vaste ensemble de démonstrations pour chaque nouvelle variante, ce qui pourrait raccourcir le délai entre une instruction humaine et un essai physique. Mais HOST reste un système de recherche : le chiffre de 62 % provient de l’évaluation des auteurs, et Pandaily le qualifie de benchmark plutôt que de robot domestique prêt à être déployé. L’équipe indique qu’il faut encore obtenir des taux de réussite plus élevés et tester le système sur d’autres robots et dans des scénarios plus variés.