Xiaomi libera en abierto un modelo que señala regiones de imágenes

Xiaomi-Lens-0 puede responder a una pregunta sobre una imagen y, al mismo tiempo, delinear el área exacta de la imagen de la que habla. La publicación, fechada el 21 de octubre de 2026, procede de SeerRay-Lab, el Grupo de Comprensión Visual del equipo de aplicaciones de modelos de lenguaje de gran tamaño de Xiaomi. La ficha del modelo y el informe atribuyen el trabajo a Xiaomi Corporation, así que se trata de una publicación de investigación de la propia Xiaomi y no de una copia de terceros.

El modelo se basa en Qwen3.5-4B y añade un decodificador ligero de máscaras de píxeles. Cuando emite un token especial de máscara, el decodificador convierte la representación visual de ese token en una máscara de segmentación sobre la imagen. Como cada representación corresponde a una región, el modelo puede intercalar texto ordinario con indicadores de región durante su razonamiento paso a paso, y no solo en la respuesta final. El equipo también ha publicado LensBench, un benchmark de segmentación, y una demo.

El informe técnico atribuye al modelo una mejora media de 5,6 puntos sobre el modelo base Qwen3.5 en comprensión referencial, es decir, la tarea de encontrar el objeto que describe una frase, en ocho particiones de las pruebas RefCOCO, RefCOCO+ y RefCOCOg. También menciona una mejora de 6,8 puntos en CountQA y afirma que el modelo supera a los sistemas que enumera en cIoU de segmentación, una medida de hasta qué punto las máscaras predichas coinciden con las reales. Se trata de evaluaciones de los propios autores, y la publicación no menciona ninguna prueba independiente.

Para desarrolladores e investigadores, el cambio está en el acceso: los pesos, el código y el informe son públicos bajo la licencia Apache 2.0, que permite reutilizarlos. La publicación cita como experimentos orientados a dispositivos de pequeño tamaño la manipulación robótica de pick-and-place, los asistentes para automóviles y los asistentes visuales para teléfonos, ya que un modelo de 4.000 millones de parámetros es lo bastante pequeño para estos dispositivos. Ninguno de estos usos se describe como producto, y no se indica fecha. Para cargar el modelo hace falta el paquete Xiaomi-Lens que lo acompaña, y no basta con una clase estándar de Transformers.