Zibianliang Robotics trie les actions en virtuel, validation réelle requise

Une fois la compétition de robots terminée, le véritable défi n’est pas de courir encore plus vite, mais de maintenir fermement la tasse posée sur la table. L’équipe de Zibianliang Robotics a présenté le prototype de laboratoire WALL-SS, un modèle du monde autorégressif qui permet à un robot de répéter virtuellement des tâches de saisie, de versement et de rangement : à partir d’une même image initiale, si l’on modifie la trajectoire d’action, le modèle doit produire le résultat correspondant — prise ratée, collision ou réussite — au lieu de réécrire l’histoire en réussite quelle que soit l’action effectuée.

Le système s’attaque ainsi aux faiblesses des robots lorsqu’ils entrent dans des environnements réels. Si les données d’entraînement proviennent principalement de démonstrations réussies, le modèle risque d’assimiler trop simplement la « fermeture de la pince » au « soulèvement de l’objet ». Même lorsque la pince est encore éloignée de la tasse, l’objet représenté dans l’image générée peut donner l’impression d’être attiré par un aimant. WALL-SS conserve les données de prises ratées, de glissements, de collisions, de nouvelles tentatives de saisie, de reprises en main par un opérateur et de récupération après échec, afin que le terrain d’entraînement virtuel montre les limites des actions et pas uniquement le résultat idéal.

Sa méthode consiste à placer les actions et les images sur la même ligne temporelle. Que le bras robotique se déplace vers la gauche ou vers la droite modifie d’abord la direction du mouvement dans l’aperçu en basse résolution ; le moment où la pince se referme influe ensuite sur le résultat du contact dans l’image haute résolution. Le modèle utilise également une mémoire dont le niveau de compression augmente avec le temps pour conserver l’état de la tâche : les dernières secondes gardent davantage de détails, tandis que l’historique plus ancien ne conserve que la position des objets et l’avancement de la tâche. Lors des tests de l’étude, WALL-SS a simulé en continu une tâche de versement pendant 60 secondes, tandis que l’erreur de trajectoire du bras robotique, image après image, restait inférieure à 0,5 % de la diagonale de l’image.

Pour déterminer si les résultats virtuels peuvent guider le robot réel, l’essentiel est de vérifier si le classement des stratégies est proche dans les deux environnements. L’équipe de recherche a placé 5 stratégies issues de différentes étapes d’entraînement dans WALL-SS et sur un robot réel, puis les a testées sur 6 tâches et 20 configurations initiales correspondantes, pour un total de 600 paires de résultats en boucle fermée. Dans 527 paires, le résultat final — réussite ou échec — était identique ; parmi les meilleures versions sélectionnées dans le monde virtuel, 89 % présentaient le même rapport de performance que lors des tests sur robot réel. Le coefficient de corrélation des taux de réussite virtuels et réels pour 30 tâches et versions de stratégies atteignait 0,926, mais cette mesure décrit une tendance générale et non un taux de prédiction correcte de 92,6 % pour chaque essai.

Concrètement, WALL-SS peut aider les équipes de développement à écarter d’abord les stratégies les moins performantes, puis à soumettre un nombre réduit de candidates aux tests sur robot réel. Cela diminue l’occupation des équipements, les remises en place sur site ainsi que les risques liés aux collisions avec des liquides ou des objets fragiles. Il ne remplace pas les tests réels : la main robotique dexte, la perception tactile, le contrôle des forces et la précision des articulations restent déterminants pour réellement serrer une vis ou insérer une fiche. Pour l’instant, sa valeur tient davantage à celle d’un terrain d’entraînement, d’un examen et d’une plateforme d’étalonnage pour la recherche et le développement : les données de réussite, d’échec et de reprise en main par un opérateur produites par le robot réel sont réinjectées dans le modèle afin d’améliorer la sélection suivante.