Xiaomi open-source Xiaomi-Lens-0, qui pointe les zones de l'image

Xiaomi-Lens-0 peut répondre à une question sur une image et, dans le même mouvement, en délimiter la zone exacte dont il parle. La publication, datée du 21 octobre 2026, vient de SeerRay-Lab, le groupe de compréhension visuelle au sein de l'équipe applications des grands modèles de langage de Xiaomi. La fiche du modèle et le rapport attribuent le travail à Xiaomi Corporation : il s'agit donc d'une publication de recherche de Xiaomi, et non d'une copie tierce.

Le modèle repose sur Qwen3.5-4B et ajoute un décodeur léger de masques de pixels. Lorsqu'il émet un jeton de masque spécial, le décodeur transforme la représentation visuelle de ce jeton en un masque de segmentation sur l'image. Comme chaque représentation correspond à une seule zone, le modèle peut intercaler du texte ordinaire et des pointeurs de zones pendant son raisonnement pas à pas, et non uniquement dans la réponse finale. L'équipe a aussi publié LensBench, un banc d'essai de segmentation, ainsi qu'une démo.

Le rapport technique attribue au modèle un gain moyen de 5,6 points par rapport à la base Qwen3.5 en compréhension référentielle, c'est-à-dire la tâche consistant à trouver l'objet décrit par une phrase, sur huit découpages des tests RefCOCO, RefCOCO+ et RefCOCOg. Il cite aussi un gain de 6,8 points sur CountQA et affirme que le modèle devance les systèmes qu'il énumère sur le cIoU de segmentation, une mesure de la proximité entre les masques prédits et les masques réels. Ce sont les évaluations des auteurs eux-mêmes, et la publication ne mentionne aucun test indépendant.

Pour les développeurs et les chercheurs, le changement tient surtout à l'accès : les poids, le code et le rapport sont publics sous licence Apache 2.0, qui autorise la réutilisation. La publication cite comme expérimentations en périphérie la préhension robotisée (pick-and-place), les assistants embarqués dans les voitures et les assistants visuels sur téléphone, un modèle de 4 milliards de paramètres étant assez petit pour de tels appareils. Aucun de ces usages n'est présenté comme un produit, et aucune date n'est donnée. Charger le modèle exige le paquet Xiaomi-Lens fourni, et non une simple classe standard de Transformers.