Ant Group ouvre des modèles vocaux légers, exécutables en local

Décrivez une voix en texte brut, et un modèle de synthèse vocale suffisamment petit pour tenir sur une machine locale peut la produire. C'est le pari de Ming-3.0-tts, publié par l'équipe inclusionAI d'Ant Group : deux modèles vocaux ouverts, avec code, poids et tableaux d'évaluation publiés sur GitHub, Hugging Face et ModelScope, sous licence MIT.

La famille compte deux membres. Ming-3.0-tts-0.5b est un modèle dense d'environ un demi-milliard de paramètres. Ming-3.0-tts-tiny est un modèle à mélange d'experts, une architecture où seule une partie du réseau traite chaque fragment de texte : il comporte 7,9 milliards de paramètres au total, dont 1,3 milliard sont actifs par jeton. Les deux partagent un même cadre. Le texte et des jetons de contrôle propres à chaque tâche pilotent un modèle de langage, lequel guide une tête de patch DiT (transformeur à diffusion) et un tokenizer audio, le composant qui convertit le son généré en une séquence compacte que le modèle peut manipuler.

La liste des fonctionnalités est large. Un utilisateur peut cloner une voix de référence, en concevoir une nouvelle à partir d'une description, ou choisir parmi plus de 100 voix chinoises intégrées et cinq voix anglaises. Le ton peut être orienté par des instructions en langage naturel, et l'émotion, la vitesse, la hauteur et le volume se règlent directement. Quatorze balises en ligne insèrent rires, soupirs et autres sons vocaux, en chinois ou en anglais. Les langues prises en charge sont le chinois, l'anglais, l'allemand, l'espagnol, le français, le coréen et le japonais, ainsi que le sichuanais et le cantonais. Le modèle tiny ajoute la génération de dialogues à plusieurs locuteurs à partir d'un script et de références de voix, destinée aux contenus longs de type podcast. L'équipe insiste sur le fait que ces capacités fonctionnent comme des modes de tâche distincts, et non comme des combinaisons libres.

Les principaux résultats proviennent du dépôt du projet lui-même. Ming-3.0-tts s'est classé premier parmi les modèles à poids ouverts sur le classement Artificial Analysis Controlled Voice, et premier au global sur Pronunciation Robustness, avec 93,2 % des portions mises en évidence jugées correctement prononcées. Sur des benchmarks ouverts, l'équipe revendique des résultats à l'état de l'art parmi les modèles open source listés sur les six métriques paralinguistiques à balise unique de NVBench, c'est-à-dire les sons qui vont au-delà des mots, comme les rires ou les soupirs, ainsi que sur deux scores propres à certaines langues. L'équipe elle-même prévient que ces classements évolueront à mesure que de nouveaux modèles seront ajoutés.

Le README est moins flatteur sur certains points, et cela compte pour quiconque veut utiliser ces modèles. La similarité de locuteur dans les langues nouvellement ajoutées ne figure souvent pas dans le top 3. Le contrôle de la hauteur est l'attribut le moins précis. Le taux d'erreur en coréen du modèle tiny est nettement moins bon que celui du plus petit modèle, et la qualité audio des podcasts reste inférieure à celle d'une version antérieure, Ming-omni-tts. La précision émotionnelle baisse lorsque le texte ne porte pas de signal émotionnel propre.

Pour les développeurs et les petites équipes, le changement tient à ceci : la génération de voix peut tourner sur un matériel qu'ils contrôlent, sous une licence permissive, sans service payant dans la chaîne. La feuille de route prévoit une inférence accélérée vLLM-Omni et un rapport technique comme prochaines étapes ; aucun des deux n'est présenté comme livré pour l'instant. Le projet demande aux utilisateurs de ne pas cloner la voix de personnes réelles sans leur consentement, et de signaler la parole synthétique lorsqu'elle pourrait être prise pour un enregistrement réel.