Xiaomi publie en open source une IA localisant l'origine des sons

L'IA audio n'a été interrogée, jusqu'à présent, que sur une seule question : quel est ce son ? Le nouveau modèle de Xiaomi en ajoute une seconde : d'où vient-il ? Le 16 octobre, le fabricant chinois d'appareils électroniques a publié MiDashengLM-Spatial, un modèle open source qui répond aux deux questions à la fois.

Le modèle repose sur le modèle audio MiDashengLM de Xiaomi et étend la série Dasheng de l'entreprise, de la reconnaissance du contenu sonore à la compréhension de l'environnement acoustique qui l'entoure. Il fonctionne sur l'audio binaural, c'est-à-dire des enregistrements réalisés avec deux microphones placés comme des oreilles. Nos deux oreilles n'entendent pas tout à fait le même son, et le cerveau déduit la direction de cet écart ; le modèle apprend le même type d'indice à partir d'enregistrements à deux canaux. Il conserve les capacités de son modèle de base, notamment la reconnaissance vocale, la description audio et les questions sur les sons de l'environnement et la musique.

Les performances annoncées proviennent de la documentation du projet elle-même. Sur le sous-ensemble spatial de STAR-Bench, un benchmark de questions sur l'audio spatial, le modèle atteint 70,3 % de précision, contre 73,7 % pour les humains. Il compte environ 8 milliards de paramètres, c'est-à-dire les valeurs ajustables qui définissent un modèle. Ces chiffres n'ont pas été reproduits de manière indépendante dans les documents examinés pour cet article. Les limites sont concrètes : les réponses spatiales exigent une entrée binaurale, alors qu'un son mono ordinaire ou une stéréo non binaurale ne répond pas aux exigences du modèle, et son exécution nécessite un GPU NVIDIA compatible CUDA, la plateforme de calcul parallèle qui accélère les charges de travail d'IA.

Pour les développeurs, le changement est immédiat. Les poids sont publiés sur Hugging Face, le code sur GitHub, et la licence Apache 2.0 autorise l'usage dans la recherche comme dans les produits commerciaux. La page GitHub du projet le présente, à la connaissance de ses auteurs, comme le premier modèle open source de bout en bout qui unifie la compréhension générale de l'audio et la perception spatiale. Pour Xiaomi, la cible est plus claire que le calendrier : des produits domotiques et l'habitacle des véhicules, où un appareil pourrait se tourner vers une voix ou réagir à un son venant de derrière le conducteur. Xiaomi n'a pas indiqué quand ces produits arriveront, et aucun partenaire ni aucun appareil n'est nommé.

Reste à savoir si les 70,3 % tiendront dans de vraies pièces et de vraies voitures, hors du benchmark. La documentation affirme que le modèle a été entraîné sur des données synthétiques et qu'il généralise néanmoins à de véritables enregistrements binauraux, une affirmation que des testeurs indépendants devront confirmer.