Mifeng livre son 20 000e appareil MEgo à JD.com

Le 31 août, Yao Maoqing, président et directeur général de Mifeng Technology, a remis à JD.com le 20 000e appareil MEgo de collecte de données sans robot. L’appareil sera utilisé dans des scénarios opérationnels réels de JD.com. Mifeng Technology a également annoncé avoir produit au total plus de 1 million d’heures de données sans robot et commencer à fournir des services de données à des clients comme le laboratoire Robotics X de Tencent et Ant Lingbo.

MEgo n’enregistre pas une simple image. Il combine un champ de vision panoramique de plus de 300° avec des gros plans du poignet, tout en collectant des informations RGB, de profondeur, de mesure inertielle, tactiles et audio. La perception tactile tridimensionnelle est associée à une reconstruction de trajectoires au millimètre, tandis qu’une synchronisation au niveau matériel aligne les données de chaque canal à moins de la milliseconde. Les mains, le corps et la tête de l’utilisateur, l’extrémité du robot et l’environnement alentour sont ainsi convertis en données spatiales unifiées.

Ces données sont collectées dans des environnements ouverts et réels. Elles couvrent 22 grandes catégories de scénarios, plus de 10 000 environnements réels, plus de 50 000 catégories d’objets et plus de 500 tâches détaillées, dans des domaines allant de l’habitat, des bureaux, du commerce de détail, de la production, de l’entreposage, de la restauration, des loisirs et des transports aux scénarios de niche de la santé, de l’éducation, de la prise en charge des personnes âgées et de l’agriculture. Mifeng indique que les huit principaux scénarios représentent environ 82 % des données, dont près de 500 000 heures d’Ego à main nue, 350 000 heures d’Ego+Wrist et 150 000 heures d’Ego+UMI avec pince.

Pour traiter ce volume de données, Mifeng a mis au point MEgo Engine, qui couvre le traitement, la perception, l’annotation et l’évaluation de la qualité, et a publié la technologie de reconstruction haute précision des mains HandPose. Le système ManiEval associé classe les données selon plusieurs dimensions — type de données, type de tâche, qualité des capteurs, qualité sémantique et qualité des mouvements — selon une approche consistant à « ne pas filtrer, mais classer », afin d’adapter les données de différentes qualités aux besoins des divers entraînements de modèles.

Le changement concret est que l’entraînement des modèles robotiques commence à bénéficier d’un approvisionnement en données plus continu et plus proche des conditions de travail réelles : JD.com a reçu un appareil de collecte qui sera bientôt déployé sur le terrain, tandis que le laboratoire Robotics X de Tencent et Ant Lingbo sont déjà devenus des clients des services de données. Mifeng souhaite relier la collecte, la reconstruction, le contrôle qualité, l’entraînement, le déploiement et la remontée des données au sein d’une même chaîne. Toutefois, les volumes produits, le nombre d’heures de données et l’étendue de la couverture communiqués à ce stade reposent encore sur les chiffres publiés par l’entreprise. Les performances de l’appareil sur le terrain et l’amélioration des capacités des modèles grâce à ces données devront être vérifiées par les applications à venir.