Xiaomi disponibiliza em open source IA que identifica a origem dos sons

A IA para áudio tem sido sobretudo questionada sobre uma pergunta: o que é aquele som? O novo modelo da Xiaomi acrescenta uma segunda: de onde vem? A 16 de outubro, a fabricante chinesa de eletrónica publicou o MiDashengLM-Spatial, um modelo de código aberto que responde às duas em simultâneo.

O modelo assenta no modelo de áudio MiDashengLM da Xiaomi e alarga a série Dasheng da empresa, passando do reconhecimento do conteúdo sonoro para a compreensão do ambiente acústico que rodeia o utilizador. Funciona com áudio binaural, gravações feitas com dois microfones colocados como ouvidos. Dois ouvidos ouvem o mesmo som de forma ligeiramente diferente, e o cérebro deduz a direção a partir dessa diferença; o modelo aprende o mesmo tipo de pista a partir de gravações de dois canais. Mantém as capacidades do modelo de base, incluindo o reconhecimento de fala, a descrição sonora por legendas e a resposta a perguntas sobre sons ambientais e música.

Os números de desempenho provêm da documentação do próprio projeto. No subconjunto espacial do STAR-Bench, um conjunto de testes com perguntas sobre áudio espacial, o modelo atinge uma precisão de 70,3 %, contra 73,7 % para os humanos. Tem cerca de 8 mil milhões de parâmetros, os valores ajustáveis que definem um modelo. Estes números não foram reproduzidos de forma independente no material analisado para este artigo. As limitações são concretas: as respostas espaciais exigem entrada binaural, enquanto o áudio mono comum ou o estéreo não binaural não cumpre os requisitos do modelo, e a sua execução requer uma GPU da NVIDIA compatível com CUDA, a plataforma de computação paralela que acelera as cargas de trabalho de IA.

Para os programadores, a mudança é imediata. Os pesos estão publicados no Hugging Face, o código no GitHub, e a licença Apache 2.0 permite a utilização em investigação e em produtos comerciais. A página do projeto no GitHub descreve-o, segundo os seus autores, como o primeiro modelo de código aberto de ponta a ponta que une a compreensão geral do áudio e a perceção espacial. Para a Xiaomi, o objetivo é mais claro do que o calendário: produtos para casas inteligentes e habitáculos de veículos, onde um dispositivo poderia virar-se na direção de uma voz ou reagir a um som atrás do condutor. A Xiaomi não indicou quando esses produtos chegarão, e não é nomeado nenhum parceiro nem dispositivo.

O que continua em aberto é saber se os 70,3 % se confirmam em salas e automóveis reais, fora do ambiente de teste. A documentação refere que o modelo foi treinado com dados sintéticos e que generaliza bem para gravações binaurais reais, uma afirmação que os testadores externos terão de confirmar.