Ant Group publica modelos de voz abertos que correm localmente

Escreva uma descrição em texto simples de uma voz, e um modelo de voz que cabe numa máquina local pode produzi-la. É essa a aposta do Ming-3.0-tts, lançado pela equipa inclusionAI da Ant Group: dois modelos de voz abertos, com código, pesos e tabelas de avaliação publicados no GitHub, Hugging Face e ModelScope sob a licença MIT.

A família tem dois membros. O Ming-3.0-tts-0.5b é um modelo denso com cerca de 500 milhões de parâmetros. O Ming-3.0-tts-tiny é um modelo de mistura de especialistas, uma arquitetura em que apenas uma parte da rede trabalha sobre cada fragmento de texto: tem 7,9 mil milhões de parâmetros no total, dos quais 1,3 mil milhões estão ativos por token. Ambos partilham a mesma estrutura. Texto e tokens de controlo específicos de cada tarefa alimentam um modelo de linguagem, que orienta uma cabeça de patches DiT (transformador de difusão) e um tokenizador de áudio, o componente que transforma o som gerado numa sequência compacta com que o modelo consegue trabalhar.

A lista de funcionalidades é ampla. O utilizador pode clonar uma voz de referência, criar uma nova a partir de uma descrição, ou escolher entre mais de 100 vozes chinesas incorporadas e cinco vozes em inglês. A forma de declamar pode ser orientada com instruções em linguagem natural, e a emoção, a velocidade, a entoação e o volume podem ser definidos diretamente. Catorze etiquetas inline inserem risos, suspiros e outros sons vocais em chinês ou em inglês. As línguas suportadas são chinês, inglês, alemão, espanhol, francês, coreano e japonês, além do sichuanês e do cantonês. O modelo tiny acrescenta diálogo com vários falantes gerado a partir de um guião e de referências de falantes, pensado para áudio de longa duração, em estilo podcast. A equipa sublinha que estas capacidades funcionam como modos de tarefa separados, e não como combinações arbitrárias.

Os resultados em destaque provêm do repositório do próprio projeto. O Ming-3.0-tts ficou em primeiro lugar entre os modelos de pesos abertos no ranking Controlled Voice da Artificial Analysis, e em primeiro lugar no conjunto em Pronunciation Robustness, com 93,2 % dos trechos destacados considerados corretamente pronunciados. Em benchmarks abertos, a equipa reivindica resultados de estado da arte entre os modelos de código aberto listados em todas as seis métricas NVBench de etiqueta única para paralinguística, isto é, os sons para lá das palavras, como risos ou suspiros, além de duas pontuações específicas por língua. A própria equipa avisa que estes rankings mudam à medida que forem acrescentados novos modelos.

O README é menos lisonjeiro em alguns pontos, e isso importa para quem queira usar os modelos. A semelhança do falante nas línguas recém-acrescentadas fica, na maioria dos casos, fora do top três. O controlo da entoação é o atributo menos preciso. A taxa de erro em coreano do modelo tiny fica muito atrás do modelo mais pequeno, e a qualidade do áudio tipo podcast continua abaixo de uma versão anterior, o Ming-omni-tts. A precisão emocional cai quando o texto não traz pistas emocionais próprias.

Para programadores e pequenas equipas, a novidade é que a geração de voz pode correr em hardware que controlam, sob uma licença permissiva, sem um serviço pago pelo meio. O roteiro indica a inferência acelerada com vLLM-Omni e um relatório técnico como próximos passos; nenhum é apresentado como já concluído. O projeto pede aos utilizadores que não cloném vozes de pessoas reais sem consentimento e que identifiquem a fala sintética sempre que possa ser confundida com uma gravação real.