Hesai dévoile Kosmo : une pièce scannée, une copie 3D modifiable

Vous voulez déplacer le canapé contre un autre mur, mais vous craignez de découvrir après coup que l'emplacement d'origine était meilleur. Hesai veut que cette étape ait d'abord lieu sur ordinateur. Le 14 octobre, cette entreprise connue pour ses lidars automobiles a lancé le moteur de données 3D Kosmo, dont le cœur est un appareil portatif, le Kosmo One. Il a la forme d'un DJI Pocket en plus grand : il suffit de scanner une pièce pour obtenir une copie dans laquelle on peut déplacer les meubles virtuellement.

Le principe est simple. Le lidar (un capteur qui mesure les distances à l'aide d'un laser) détermine la forme, la distance et la position des objets, tandis qu'un système d'image d'un pouce (le capteur CMOS de la caméra) enregistre les couleurs, les textures et les jeux de lumière. Les deux flux sont ensuite alignés pour restituer l'espace réel. Hesai affirme que la précision géométrique atteint le niveau du millimètre et permet de distinguer, sur une raquette de tennis, les mailles espacées d'environ 5 mm. La capture vidéo peut aller jusqu'à la 8K, et les fichiers exportés par l'utilisateur atteignent au maximum la 6K. Contrairement à un appareil photo classique, il évite autant que possible les traitements stylistiques pour conserver les couleurs et la lumière d'origine. Un traitement d'image ISP spécialement conçu pour la reconstruction 3D réduit en outre les écarts entre caméras et entre instants, afin que plusieurs points de vue forment une scène cohérente. Pendant la capture, le lidar, le système d'image et une centrale inertielle de haute précision (IMU, unité de mesure qui enregistre la position et l'orientation de l'appareil) sont synchronisés à la microseconde près. Selon Hesai, dans un intérieur ordinaire, scanner environ 100 m² ne prend qu'environ 15 minutes.

Une fois la capture terminée, la plateforme cloud Kosmo World prend le relais. Grâce à la segmentation sémantique par IA, elle identifie les objets de la scène et les extrait sous forme d'objets 3D indépendants. Lors de la présentation, le système a reconnu le canapé à partir d'une consigne orale et l'a isolé. Une fois le meuble retiré, l'IA a reconstitué la texture du tapis masquée par celui-ci, à partir des éléments environnants. Hesai a également présenté une comparaison : la même pièce photographiée en 20 images, puis confiée au modèle GPT-6 Astra pour la reconstruction, présentait un décalage de position et de forme pour le canapé, ainsi que des écarts de matériaux et de lumière ; avec les données 3DGS capturées par Kosmo, les relations de position entre objets s'amélioraient, mais la forme des chaises et la matière des fleurs restaient imprécises. Pour Hesai, les modèles généralistes jouent le rôle d'un « cerveau », tandis que Kosmo One fournit de meilleurs « yeux ». Ces comparaisons proviennent de la démonstration organisée par Hesai elle-même et n'ont pas encore fait l'objet de tests indépendants.

La technologie est déjà utilisée par des professionnels. Dylan Sisson, directeur créatif de RenderMan, le moteur de rendu industriel de Pixar, a scanné une lampe de bureau et une sculpture de petites boules colorées sur une place du campus. Les scans peuvent être repositionnés, redimensionnés et rendus plus ou moins transparents dans le logiciel, puis réutilisés à différentes étapes de production. La société de robotique Sharpa a reconstitué une boutique DQ avec Kosmo pour y construire un environnement d'entraînement robotique. Hesai affirme que ses robots y atteignent un taux de réussite de 99 %. Selon TechNode, ce scan a remplacé environ 300 heures de modélisation manuelle.

Alors, qu'est-ce que cela change pour le grand public ? Pas grand-chose pour l'instant. Hesai n'a pas annoncé le prix de vente de Kosmo, et les particuliers ne pourront pas scanner leur logement de sitôt. Pour entrer dans le quotidien, l'appareil devra être plus compact, et le parcours, de la capture à l'utilisation, devra être plus simple. Hesai indique que Kosmo continuera d'évoluer et que l'appareil de capture pourrait, grâce à des partenaires, prendre d'autres formes que le modèle portatif pour s'adapter à davantage de situations. Pour les développeurs et les équipes de production professionnelles, le changement le plus concret est déjà là : un seul scan permet d'obtenir une scène 3D réutilisable à volonté, aussi bien pour le cinéma que pour l'entraînement des robots.