Xiaomi apre un modello di ricerca che indica le zone dell'immagine

Xiaomi-Lens-0 può rispondere a una domanda su un'immagine e, nello stesso momento, delineare l'area esatta dell'immagine di cui sta parlando. Il rilascio, pubblicato il 21 ottobre 2026, arriva da SeerRay-Lab, il Visual Understanding Group interno al gruppo che si occupa delle applicazioni dei grandi modelli linguistici di Xiaomi. La scheda del modello e il rapporto attribuiscono il lavoro a Xiaomi Corporation: si tratta quindi di una release di ricerca di Xiaomi, non di una copia di terzi.

Il modello è costruito su Qwen3.5-4B e aggiunge un decodificatore leggero di maschere a pixel. Quando emette un token speciale di maschera, il decodificatore trasforma la rappresentazione visiva di quel token in una maschera di segmentazione sull'immagine. Poiché ogni rappresentazione corrisponde a una sola regione, il modello può intercalare il testo ordinario con puntatori alle regioni durante il ragionamento passo dopo passo, non solo nella risposta finale. Il team ha inoltre rilasciato LensBench, un benchmark di segmentazione, e una demo.

Il rapporto tecnico attribuisce al modello un guadagno medio di 5,6 punti rispetto al Qwen3.5 di base nella comprensione per riferimento, cioè nel compito di trovare l'oggetto descritto da una frase, su otto suddivisioni dei test RefCOCO, RefCOCO+ e RefCOCOg. Cita anche un guadagno di 6,8 punti su CountQA e afferma che il modello è in testa rispetto ai sistemi elencati sulla cIoU di segmentazione, una misura di quanto le maschere previste corrispondano a quelle reali. Si tratta di valutazioni degli autori stessi, e il rilascio non menziona test indipendenti.

Per sviluppatori e ricercatori, il cambiamento è nell'accesso: pesi, codice e rapporto sono pubblici sotto licenza Apache 2.0, che consente il riutilizzo. Il rilascio indica come esperimenti orientati all'edge computing la manipolazione robotica pick-and-place, gli assistenti per auto e gli assistenti visivi per telefoni, poiché un modello da 4 miliardi di parametri è abbastanza piccolo per tali dispositivi. Nessuno di questi usi è descritto come prodotto e non viene indicata alcuna data. Per caricare il modello serve il pacchetto Xiaomi-Lens che accompagna il rilascio, non una classe standard di Transformers da sola.