Ant Group rende open source modelli vocali per uso in locale

Descrivi a parole una voce e un modello vocale che sta su una macchina locale può generarla. È la scommessa alla base di Ming-3.0-tts, rilasciato dal team inclusionAI di Ant Group: due modelli vocali aperti, con codice, pesi e tabelle di valutazione pubblicati su GitHub, Hugging Face e ModelScope sotto licenza MIT.

La famiglia comprende due membri. Ming-3.0-tts-0.5b è un modello denso di circa mezzo miliardo di parametri. Ming-3.0-tts-tiny è un modello mixture-of-experts, un'architettura in cui solo una parte della rete lavora su ciascun frammento di testo: ha 7,9 miliardi di parametri in totale, di cui 1,3 miliardi attivi per token. Entrambi condividono un'unica struttura. Il testo e i token di controllo specifici per attività guidano un modello linguistico, che a sua volta pilota una testa DiT (diffusion transformer) e un tokenizer audio, il componente che trasforma il suono generato in una sequenza compatta con cui il modello può lavorare.

L'elenco delle funzionalità è ampio. L'utente può clonare una voce di riferimento, crearne una nuova a partire da una descrizione oppure scegliere tra oltre 100 voci cinesi integrate e cinque inglesi. Lo stile di esecuzione può essere guidato con istruzioni in linguaggio naturale, mentre emozione, velocità, intonazione e volume si possono impostare direttamente. Quattordici tag inline inseriscono risate, sospiri e altri suoni vocali in cinese o in inglese. Le lingue supportate sono cinese, inglese, tedesco, spagnolo, francese, coreano e giapponese, più sichuanese e cantonese. Il modello tiny aggiunge la generazione di dialoghi a più parlanti a partire da un copione e da riferimenti vocali, pensata per audio lunghi in stile podcast. Il team sottolinea che queste capacità funzionano come modalità di attività separate, non come combinazioni arbitrarie.

I risultati principali provengono dal repository del progetto stesso. Ming-3.0-tts si è classificato primo tra i modelli a pesi aperti nella classifica Artificial Analysis Controlled Voice e primo in assoluto in Pronunciation Robustness, con il 93,2% delle porzioni evidenziate giudicate pronunciate correttamente. Nei benchmark aperti, il team riferisce risultati allo stato dell'arte tra i modelli open source elencati su tutte e sei le metriche paralinguistiche NVBench a tag singolo, cioè i suoni che vanno oltre le parole, come risate o sospiri, insieme a due punteggi specifici per lingua. Il team avverte però che queste classifiche cambieranno man mano che verranno aggiunti nuovi modelli.

Il README è in alcuni punti meno lusinghiero, e questo conta per chi vuole usare i modelli. La somiglianza del parlante nelle lingue aggiunte di recente resta in gran parte fuori dai primi tre posti. Il controllo dell'intonazione è l'attributo meno accurato. Il tasso di errore del modello tiny in coreano è molto più alto di quello del modello più piccolo, e la qualità audio dei podcast resta inferiore a una precedente versione di Ming-omni-tts. L'accuratezza emotiva cala quando il testo non contiene di per sé un indizio emotivo.

Per sviluppatori e piccoli team il cambiamento è che la generazione vocale può girare su hardware sotto il proprio controllo, con una licenza permissiva e senza un servizio a pagamento di mezzo. La roadmap indica come prossimi passi l'inferenza accelerata con vLLM-Omni e un rapporto tecnico; nessuno dei due è ancora descritto come disponibile. Il progetto chiede agli utenti di non clonare la voce di persone reali senza consenso e di segnalare il parlato sintetico quando potrebbe essere scambiato per una registrazione reale.