L’IA combine des experts du mouvement pour des scènes 3D complexes

Une scène virtuelle où plusieurs éléments se déplacent simultanément est un cas dans lequel un modèle unique commence à montrer ses limites. Des chercheurs dirigés par le professeur Kyeongbo Kong, de l’Université nationale de Pusan, ont développé deux architectures Mixture-of-Experts qui combinent des modèles spécialisés du mouvement afin de reconstruire plus précisément des environnements 3D dynamiques complexes que les approches classiques reposant sur un seul modèle.

Le défi tient à la représentation. Le Dynamic Gaussian Splatting, ou DGS, reconstruit des scènes 3D changeantes à l’aide d’ensembles d’éléments gaussiens, mais les différentes méthodes DGS gèrent bien différents types de mouvements. Aucune représentation unique n’offre systématiquement les meilleures performances face à la diversité des mouvements observés dans les scènes réelles.

Le premier système, MoE-GS, entraîne indépendamment plusieurs modèles gaussiens dynamiques. Un mécanisme de routage appris choisit ensuite comment combiner leurs sorties pour chaque région et chaque instant. Le second, MoDE, intègre plusieurs experts en déformation lors d’une optimisation conjointe, tout en utilisant une représentation gaussienne partagée. Dans les deux cas, le système peut s’appuyer sur des spécialistes au lieu de contraindre un seul modèle à gérer tous les types de mouvements.

Les chercheurs indiquent que cette combinaison produit des reconstructions plus précises pour les scènes comportant plusieurs types de mouvements, tout en conservant une certaine flexibilité selon les différents environnements dynamiques. Ces travaux sont publiés dans IEEE Transactions on Pattern Analysis and Machine Intelligence. La source fait état d’une amélioration de la reconstruction, mais ne fournit aucun chiffre de référence.

Qu’est-ce que cela change en pratique ? Une reconstruction plus fiable pourrait offrir aux robots, aux systèmes autonomes et aux outils d’informatique spatiale une meilleure vision d’environnements qui ne se déplacent pas d’un seul bloc. Elle pourrait également servir aux jumeaux numériques et aux systèmes d’informatique spatiale, deux domaines d’application cités par les chercheurs. Pour l’instant, MoE-GS et MoDE restent des architectures de recherche, et non un service démontré entre les mains des utilisateurs.