Ant Group libera modelos de voz abiertos que corren en local

Describa en texto plano una voz y un modelo de voz que cabe en un equipo local puede generarla. Esa es la apuesta detrás de Ming-3.0-tts, publicado por el equipo inclusionAI de Ant Group: dos modelos de voz abiertos, con código, pesos y tablas de evaluación publicados en GitHub, Hugging Face y ModelScope bajo la licencia MIT.

La familia tiene dos miembros. Ming-3.0-tts-0.5b es un modelo denso de unos 500 millones de parámetros. Ming-3.0-tts-tiny es un modelo de mezcla de expertos, una arquitectura en la que solo una parte de la red trabaja sobre cada fragmento de texto: tiene 7.900 millones de parámetros en total, de los cuales 1.300 millones están activos por token. Ambos comparten un mismo marco de trabajo. El texto y los tokens de control específicos de cada tarea alimentan un modelo de lenguaje, que dirige un cabezal de parches DiT (transformador de difusión) y un tokenizador de audio, el componente que convierte el sonido generado en una secuencia compacta con la que el modelo puede trabajar.

La lista de funciones es amplia. El usuario puede clonar una voz de referencia, diseñar una nueva a partir de una descripción o elegir entre más de 100 voces chinas integradas y cinco en inglés. La forma de expresión puede dirigirse con instrucciones en lenguaje natural, y la emoción, la velocidad, el tono y el volumen pueden ajustarse directamente. Catorce etiquetas insertadas añaden risas, suspiros y otros sonidos vocales en chino o en inglés. Los idiomas admitidos son chino, inglés, alemán, español, francés, coreano y japonés, además de sichuanés y cantonés. El modelo tiny añade diálogos con varios hablantes generados a partir de un guion y de referencias de voz, orientados al audio de larga duración, al estilo de los pódcast. El equipo subraya que estas capacidades funcionan como modos de tarea separados, no como combinaciones arbitrarias.

Los resultados principales proceden del propio repositorio del proyecto. Ming-3.0-tts quedó primero entre los modelos de pesos abiertos en la clasificación Artificial Analysis Controlled Voice, y primero en general en Pronunciation Robustness, con 93,2 % de fragmentos destacados juzgados correctamente pronunciados. En los bancos de pruebas abiertos, el equipo afirma haber obtenido resultados de vanguardia entre los modelos de código abierto listados en las seis métricas paralingüísticas de etiqueta única de NVBench, es decir, los sonidos que van más allá de las palabras, como las risas o los suspiros, junto con dos puntuaciones específicas de idioma. El propio equipo advierte de que estas clasificaciones cambiarán a medida que se añadan nuevos modelos.

El README es en algunos puntos menos favorable, y eso importa a quien quiera usar los modelos. La similitud de los hablantes en los idiomas recién añadidos suele quedar fuera del podio de los tres primeros. El control del tono es el atributo menos preciso. La tasa de error en coreano del modelo tiny queda muy por detrás del modelo más pequeño, y la calidad del audio de los pódcast sigue por debajo de una versión anterior de Ming-omni-tts. La precisión emocional baja cuando el texto no contiene por sí mismo una pista emocional.

Para desarrolladores y equipos pequeños, el cambio es que la generación de voz puede ejecutarse en hardware que controlan, con una licencia permisiva y sin un servicio de pago de por medio. La hoja de ruta incluye la inferencia acelerada con vLLM-Omni y un informe técnico como próximos pasos; ninguno de los dos se describe todavía como disponible. El proyecto pide a los usuarios que no clonen voces de personas reales sin su consentimiento y que etiqueten la voz sintética cuando pueda confundirse con una grabación real.