Un robot prédit l'issue de ses gestes avant d'agir : 78,4 % en tests

Un robot capable de se représenter le résultat de son propre mouvement avant de l'exécuter n'est plus une expérience de pensée. À l'université nationale de Séoul, une équipe dirigée par le professeur Jaeyoung Do du laboratoire AIDAS a conçu un système qui lit une demande orale ou écrite, imagine la scène finale, puis déplace le bras pour l'atteindre. Dans les tests menés par l'équipe sur quatre situations de manipulation réelles, le système, baptisé Dynin-Robotics, a réussi 78,4 % du temps en moyenne.

Le problème est familier à quiconque a vu un robot échouer dans une cuisine inconnue. Un robot peut répéter un mouvement appris dans des conditions fixes, mais les tâches réelles changent : la tasse se trouve ailleurs, le tiroir n'a pas la même forme, et les personnes formulent leurs demandes autrement. Les systèmes récents ont recouru aux grands modèles de langage, les moteurs de texte qui sous-tendent les agents conversationnels, pour comprendre les demandes, et aux modèles de génération vidéo pour prédire la suite. L'équipe de Séoul a fusionné ces deux capacités dans un seul modèle, de sorte que la compréhension de l'instruction, la prédiction du résultat et la génération du mouvement sont apprises conjointement.

Le mécanisme se résume simplement. À partir de l'image de la caméra et de l'instruction, le modèle produit une image de la scène attendue une fois la tâche accomplie. Cette image prédite sert soit de référence pour générer le mouvement, soit à noter plusieurs mouvements candidats afin de retenir le plus adapté. Dans des tâches simulées de cueillette de fruits et d'arrangement floral, un modèle entraîné de cette façon a mieux traité les demandes indirectes, comme « Mets la fleur qui symbolise l'amour », qu'un modèle entraîné uniquement à produire des actions, lequel devait s'appuyer sur la désignation directe de l'objet.

La vitesse constituait le second problème. L'équipe a regroupé les informations nécessaires à une séquence d'actions et les a prédites en parallèle, tout en réutilisant des résultats intermédiaires que le calcul aurait sinon répétés. Le générateur d'actions a fonctionné jusqu'à environ 29,2 fois plus vite que sa version non optimisée, et jusqu'à environ 36,6 fois plus vite que le modèle π0.5 de Physical Intelligence, une entreprise américaine spécialisée dans l'IA robotique, dont le modèle figurait parmi les comparaisons.

Que change ce travail, et pour qui ? Pour l'instant, le gain est scientifique : un modèle unique qui relie ce que dit une personne, à quoi ressemblera la scène et comment un robot doit se mouvoir, avec une avance mesurée sur deux systèmes de comparaison. Des robots capables de traiter des demandes moins rigides seraient utiles d'abord dans les entrepôts, les laboratoires et les foyers, mais les sources ne donnent ni calendrier, ni produit, ni prix, et ce travail reste un article de recherche sur le serveur de prépublications arXiv. L'article a été accepté à NeurIPS 2026, l'une des grandes conférences sur l'intelligence artificielle, et doit être présenté en décembre. Les prochains éléments de réponse viendront de la question de savoir si les 78,4 % se confirment lorsque d'autres équipes mèneront les mêmes tests.