SenseTime reparte la inferencia de IA entre dos tipos de chips

El 16 de octubre, en la 10.ª Cumbre CSDI de Shenzhen, Xuan Shanming, vicepresidente y director técnico (CTO) de SenseCore, de SenseTime, describió un sistema de inferencia reconstruido para lo que él denominó una era agéntica. En esa era, varios agentes de IA trabajan juntos en tareas de varios pasos que se prolongan durante horas sin que nadie las supervise. Esas tareas consumen muchos más tokens de los que jamás consumió un chatbot, y su propuesta fue menos sobre cuántos aceleradores posee un centro de datos que sobre cuán constantemente puede producir tokens de calidad dentro de los objetivos de coste y de servicio.

Un token es un fragmento de texto que un modelo lee o escribe, y la inferencia es el trabajo de producirlos. SenseCore divide ese trabajo en dos. Prefill procesa la entrada y exige mucha capacidad de cómputo. Decode genera la salida paso a paso y, en cada paso, vuelve a leer el contexto almacenado, lo que hace que necesite un ancho de banda de memoria muy alto. En el diseño de SenseCore, los aceleradores nacionales asumen la mayor parte del trabajo de Prefill, las GPU de alto ancho de banda se encargan de Decode, y ambas etapas intercambian su estado a través de enlaces KV Cache que recorren una combinación de redes de 800G, 400G y 200G dentro de un mismo clúster de escala de 10.000 GPU en su AIDC de Lingang.

La división trae consigo su propio riesgo. En algunas configuraciones, 30 a 50 nodos Prefill de gama media o baja pueden alimentar a un único nodo Decode, de modo que un fallo en Decode puede dejar inactiva una gran reserva de capacidad Prefill. SenseCore mantiene en el grupo Prefill una pequeña reserva de tarjetas de gama alta para una conmutación rápida ante fallos, y permite que los nodos cambien entre los roles Prefill y Decode según varía la carga. En una configuración de prueba, con el mismo número de GPU insignia que una línea base, la compañía informa de unas cinco veces el rendimiento total de tokens tras esta planificación heterogénea. Son cifras de la propia empresa, obtenidas en sus pruebas, y no las acompaña ninguna medición independiente.

SenseCore también explora el PD entre dominios, que enviaría el trabajo de Prefill a capacidad regional de gama media y el de Decode a clústeres remotos de alto ancho de banda. El motivo es el tamaño de la memoria de contexto: en algunos modelos, la KV Cache necesaria para contextos de millones de tokens se reduce de cerca de 100 GB a unos 1 GB, lo que hace viable trasladarla por red. La compañía estudia además separar los cálculos de Attention y FFN dentro de Decode. Ambas ideas están en fase de exploración, no en servicio.

La escala ya es grande: SenseCore afirma que su plataforma atiende unos 6 billones de tokens al día, y aspira a 10 billones para el cuarto trimestre de 2026, con un volumen anual de tokens que pretende crecer unas 25 veces. Para los clientes de la nube y los equipos que construyen agentes sobre ellos, la ganancia práctica sería tokens más baratos con el mismo presupuesto de hardware, siempre que las cifras de rendimiento de la empresa se sostengan fuera de sus propias pruebas. Para los fabricantes nacionales de chips, el mensaje es un papel mayor en Prefill y en la inferencia mixta, y no una sustitución total de las GPU de alto ancho de banda en Decode, algo que la compañía no afirmó.