Xiaomi abre modelo de investigação que aponta regiões da imagem

O Xiaomi-Lens-0 consegue responder a uma pergunta sobre uma imagem e, no mesmo fôlego, delinear a área exata da imagem de que está a falar. A versão, publicada a 21 de outubro de 2026, provém do SeerRay-Lab, o Grupo de Compreensão Visual integrado na equipa de aplicações de grandes modelos de linguagem da Xiaomi. A ficha do modelo e o relatório atribuem a autoria à Xiaomi Corporation, pelo que se trata de uma publicação de investigação da própria Xiaomi, e não de uma cópia de terceiros.

O modelo assenta no Qwen3.5-4B e acrescenta um descodificador leve de máscaras de pixels. Quando emite um token especial de máscara, o descodificador transforma a representação visual desse token numa máscara de segmentação sobre a imagem. Como cada representação corresponde a uma região, o modelo pode intercalar texto corrente com indicadores de regiões durante o raciocínio passo a passo, e não apenas na resposta final. A equipa lançou também o LensBench, um benchmark de segmentação, e uma demonstração.

O relatório técnico atribui ao modelo um ganho médio de 5,6 pontos face ao Qwen3.5 base na compreensão por referência, ou seja, na tarefa de encontrar o objeto descrito por uma frase, em oito divisões dos testes RefCOCO, RefCOCO+ e RefCOCOg. Refere também um ganho de 6,8 pontos no CountQA e afirma que o modelo lidera os sistemas que enumera na segmentação, medida pelo cIoU, que indica quão próximas estão as máscaras previstas das verdadeiras. Estas são avaliações feitas pelos próprios autores, e a versão não menciona nenhum teste independente.

Para programadores e investigadores, a novidade é o acesso: os pesos, o código e o relatório são públicos sob a licença Apache 2.0, que permite a reutilização. A versão cita experiências de robótica de recolha e colocação de objetos, assistentes de bordo e assistentes visuais de telemóvel, orientadas para dispositivos locais, uma vez que um modelo de 4 mil milhões de parâmetros é suficientemente pequeno para tais equipamentos. Nenhuma destas utilizações é apresentada como produto, e não é indicada qualquer data. Para carregar o modelo é necessário o pacote Xiaomi-Lens que o acompanha, não bastando uma classe padrão do Transformers.