Las dos versiones están alineadas bloque a bloque, en el orden del texto: titular, lo esencial y después párrafo a párrafo. Cuando la traducción ha fusionado o dividido un párrafo, la casilla correspondiente queda vacía — nunca emparejamos dos pasajes a ojo.
On October 16, at the 10th CSDI Summit in Shenzhen, Xuan Shanming, vice president and CTO of SenseTime's SenseCore, described a rebuilt inference system for what he called an agentic era. In that era, several AI agents work together on multi-step jobs that run for hours without anyone watching. Those jobs consume far more tokens than a chatbot ever did, and the pitch he made was less about how many accelerators a data center owns than about how steadily it can turn out good tokens within cost and service targets.
El 16 de octubre, en la 10.ª Cumbre CSDI de Shenzhen, Xuan Shanming, vicepresidente y director técnico (CTO) de SenseCore, de SenseTime, describió un sistema de inferencia reconstruido para lo que él denominó una era agéntica. En esa era, varios agentes de IA trabajan juntos en tareas de varios pasos que se prolongan durante horas sin que nadie las supervise. Esas tareas consumen muchos más tokens de los que jamás consumió un chatbot, y su propuesta fue menos sobre cuántos aceleradores posee un centro de datos que sobre cuán constantemente puede producir tokens de calidad dentro de los objetivos de coste y de servicio.
A token is a fragment of text that a model reads or writes, and inference is the work of producing them. SenseCore splits that work in two. Prefill processes the input and is heavy on computation. Decode generates the output one step at a time, and at each step it reads back the stored context, which makes it need very high memory bandwidth. In SenseCore's design, domestic accelerators take most of the Prefill work, high-bandwidth GPUs take Decode, and the two stages pass their state through KV Cache links that run across a mix of 800G, 400G and 200G networks inside one cluster of 10,000-GPU scale at its Lingang AIDC.
Un token es un fragmento de texto que un modelo lee o escribe, y la inferencia es el trabajo de producirlos. SenseCore divide ese trabajo en dos. Prefill procesa la entrada y exige mucha capacidad de cómputo. Decode genera la salida paso a paso y, en cada paso, vuelve a leer el contexto almacenado, lo que hace que necesite un ancho de banda de memoria muy alto. En el diseño de SenseCore, los aceleradores nacionales asumen la mayor parte del trabajo de Prefill, las GPU de alto ancho de banda se encargan de Decode, y ambas etapas intercambian su estado a través de enlaces KV Cache que recorren una combinación de redes de 800G, 400G y 200G dentro de un mismo clúster de escala de 10.000 GPU en su AIDC de Lingang.
The split brings its own risk. In some configurations, 30 to 50 mid- or lower-tier Prefill nodes can feed a single Decode node, so one Decode failure can leave a large pool of Prefill capacity idle. SenseCore keeps a small reserve of high-end cards in the Prefill pool for fast failover, and lets nodes switch between Prefill and Decode roles as load changes. In one test configuration, with the same count of flagship GPUs as a baseline, the company reports about five times the overall token throughput after this heterogeneous scheduling. These are company figures from its own test, and no independent measurement accompanies them.
La división trae consigo su propio riesgo. En algunas configuraciones, 30 a 50 nodos Prefill de gama media o baja pueden alimentar a un único nodo Decode, de modo que un fallo en Decode puede dejar inactiva una gran reserva de capacidad Prefill. SenseCore mantiene en el grupo Prefill una pequeña reserva de tarjetas de gama alta para una conmutación rápida ante fallos, y permite que los nodos cambien entre los roles Prefill y Decode según varía la carga. En una configuración de prueba, con el mismo número de GPU insignia que una línea base, la compañía informa de unas cinco veces el rendimiento total de tokens tras esta planificación heterogénea. Son cifras de la propia empresa, obtenidas en sus pruebas, y no las acompaña ninguna medición independiente.
SenseCore is also exploring cross-domain PD, which would send Prefill work to regional mid-tier capacity and Decode work to remote high-bandwidth clusters. The motive is the size of the context memory: on some models, the KV Cache needed for million-token contexts shrinks from near 100 GB toward about 1 GB, which makes it practical to move over a network. The company is additionally studying the separation of Attention and FFN computations inside Decode. Both ideas are at the exploration stage, not in service.
SenseCore también explora el PD entre dominios, que enviaría el trabajo de Prefill a capacidad regional de gama media y el de Decode a clústeres remotos de alto ancho de banda. El motivo es el tamaño de la memoria de contexto: en algunos modelos, la KV Cache necesaria para contextos de millones de tokens se reduce de cerca de 100 GB a unos 1 GB, lo que hace viable trasladarla por red. La compañía estudia además separar los cálculos de Attention y FFN dentro de Decode. Ambas ideas están en fase de exploración, no en servicio.
The scale is already large: SenseCore says its platform serves about 6 trillion tokens per day, and it aims for 10 trillion by the fourth quarter of 2026, with full-year token volume targeted to grow roughly 25 times. For cloud customers and the teams building agents on top of them, the practical gain would be cheaper tokens at the same hardware budget, provided the company's throughput figures hold outside its own tests. For domestic chip makers, the message is a larger role in Prefill and mixed inference, not a wholesale replacement of high-bandwidth GPUs on Decode, which the company did not claim.
La escala ya es grande: SenseCore afirma que su plataforma atiende unos 6 billones de tokens al día, y aspira a 10 billones para el cuarto trimestre de 2026, con un volumen anual de tokens que pretende crecer unas 25 veces. Para los clientes de la nube y los equipos que construyen agentes sobre ellos, la ganancia práctica sería tokens más baratos con el mismo presupuesto de hardware, siempre que las cifras de rendimiento de la empresa se sostengan fuera de sus propias pruebas. Para los fabricantes nacionales de chips, el mensaje es un papel mayor en Prefill y en la inferencia mixta, y no una sustitución total de las GPU de alto ancho de banda en Decode, algo que la compañía no afirmó.