Xiaomi rilascia open source un'IA che localizza i suoni

L'IA audio è stata finora interrogata soprattutto su una domanda: che suono è? Il nuovo modello di Xiaomi ne aggiunge una seconda: da dove proviene? Il 16 ottobre il produttore cinese di elettronica ha rilasciato MiDashengLM-Spatial, un modello open source che risponde a entrambe le domande insieme.

Il modello è costruito sul modello audio MiDashengLM di Xiaomi ed estende la serie Dasheng dell'azienda, passando dal riconoscimento del contenuto sonoro alla comprensione dell'ambiente acustico circostante. Funziona con audio binaurale, cioè registrazioni realizzate con due microfoni posizionati come orecchie. Due orecchie percepiscono lo stesso suono in modo leggermente diverso, e il cervello ricava la direzione da quello scarto; il modello apprende lo stesso tipo di indizio da registrazioni a due canali. Conserva le capacità del modello di base, tra cui il riconoscimento vocale, la sottotitolazione audio e le domande su suoni ambientali e musica.

I dati sulle prestazioni provengono dalla documentazione del progetto. Sul sottoinsieme spaziale di STAR-Bench, un benchmark di domande sull'audio spaziale, il modello raggiunge il 70,3% di accuratezza, contro il 73,7% degli esseri umani. Ha circa 8 miliardi di parametri, cioè i valori regolabili che definiscono un modello. Questi numeri non sono stati riprodotti in modo indipendente nel materiale esaminato per questo articolo. I limiti sono concreti: le risposte spaziali richiedono un input binaurale, mentre l'audio mono ordinario o lo stereo non binaurale non soddisfa i requisiti del modello, e per farlo girare serve una GPU NVIDIA che supporti CUDA, la piattaforma di calcolo parallelo che accelera i carichi di lavoro dell'IA.

Per gli sviluppatori il cambiamento è immediato. I pesi sono pubblicati su Hugging Face, il codice su GitHub, e la licenza Apache 2.0 consente l'uso nella ricerca e nei prodotti commerciali. La pagina GitHub del progetto lo descrive, per quanto ne sanno gli autori, come il primo modello open source end-to-end che unifica la comprensione audio generale e la consapevolezza spaziale. Per Xiaomi l'obiettivo è più chiaro del calendario: dispositivi per la casa intelligente e abitacoli delle auto, dove un apparecchio potrebbe orientarsi verso una voce o reagire a un suono alle spalle del conducente. Xiaomi non ha detto quando questi prodotti arriveranno, e non sono stati nominati né partner né dispositivi.

Resta da capire se il 70,3% regga in stanze e auto reali, al di fuori del benchmark. La documentazione afferma che il modello è stato addestrato su dati sintetici e che generalizza comunque a registrazioni binaurali reali, un'affermazione che i tester indipendenti dovranno confermare.