Xiaomi abre una IA que localiza de dónde viene un sonido

La IA de audio se ha preguntado sobre todo una cosa: ¿qué sonido es ese? El nuevo modelo de Xiaomi añade una segunda: ¿de dónde viene? El 16 de octubre, el fabricante chino de electrónica publicó MiDashengLM-Spatial, un modelo de código abierto que responde a ambas preguntas a la vez.

El modelo se basa en el modelo de audio MiDashengLM de Xiaomi y amplía la serie Dasheng de la compañía, que pasa del reconocimiento del contenido sonoro a la comprensión del entorno acústico que lo rodea. Funciona con audio binaural, grabaciones hechas con dos micrófonos colocados como oídos. Dos oídos perciben el mismo sonido de forma ligeramente distinta, y el cerebro deduce la dirección a partir de esa diferencia; el modelo aprende el mismo tipo de indicio a partir de grabaciones de dos canales. Conserva las capacidades de su modelo base, como el reconocimiento de voz, la descripción automática de audio y las preguntas sobre sonidos ambientales y música.

Las cifras de rendimiento proceden de la documentación del propio proyecto. En el subconjunto espacial de STAR-Bench, un banco de pruebas de preguntas sobre audio espacial, el modelo alcanza una precisión del 70,3 %, frente al 73,7 % de los humanos. Tiene unos 8.000 millones de parámetros, los valores ajustables que definen un modelo. Estas cifras no han sido reproducidas de forma independiente en el material revisado para este artículo. Los límites son concretos: las respuestas espaciales requieren entrada binaural, mientras que el audio monofónico corriente o el estéreo no binaural no cumple los requisitos del modelo, y su ejecución exige una GPU de NVIDIA compatible con CUDA, la plataforma de computación paralela que acelera las cargas de trabajo de IA.

Para los desarrolladores, el cambio es inmediato. Los pesos están publicados en Hugging Face, el código en GitHub, y la licencia Apache 2.0 permite su uso en investigación y en productos comerciales. La página del proyecto en GitHub lo describe, según sus autores, como el primer modelo de código abierto de extremo a extremo que unifica la comprensión general del audio y la percepción espacial. Para Xiaomi, el objetivo está más claro que el calendario: electrodomésticos inteligentes y habitáculos de vehículos, donde un dispositivo podría girarse hacia una voz o reaccionar a un sonido detrás del conductor. Xiaomi no ha dicho cuándo llegarán esos productos, y no nombra ningún socio ni dispositivo.

Lo que queda por saber es si el 70,3 % se sostiene en salas y coches reales, fuera del banco de pruebas. La documentación indica que el modelo se entrenó con datos sintéticos y que, aun así, generaliza a grabaciones binaurales reales, una afirmación que deberán confirmar los probadores externos.