Les deux versions sont alignées bloc par bloc, dans l’ordre du texte : titre, l’essentiel, puis paragraphe par paragraphe. Quand la traduction a fusionné ou scindé un paragraphe, la case correspondante reste vide — on ne rapproche jamais deux passages au jugé.
On October 16, at the 10th CSDI Summit in Shenzhen, Xuan Shanming, vice president and CTO of SenseTime's SenseCore, described a rebuilt inference system for what he called an agentic era. In that era, several AI agents work together on multi-step jobs that run for hours without anyone watching. Those jobs consume far more tokens than a chatbot ever did, and the pitch he made was less about how many accelerators a data center owns than about how steadily it can turn out good tokens within cost and service targets.
Le 16 octobre, lors du 10e CSDI Summit à Shenzhen, Xuan Shanming, vice-président et directeur technique du SenseCore de SenseTime, a décrit un système d'inférence reconstruit pour ce qu'il appelle l'ère agentique. Dans cette ère, plusieurs agents d'IA travaillent ensemble sur des tâches en plusieurs étapes qui durent des heures sans que personne ne les surveille. Ces tâches consomment bien plus de tokens qu'un chatbot n'en a jamais consommé, et son argument portait moins sur le nombre d'accélérateurs qu'un centre de données possède que sur la régularité avec laquelle il peut produire de bons tokens dans les limites de coût et de niveau de service.
A token is a fragment of text that a model reads or writes, and inference is the work of producing them. SenseCore splits that work in two. Prefill processes the input and is heavy on computation. Decode generates the output one step at a time, and at each step it reads back the stored context, which makes it need very high memory bandwidth. In SenseCore's design, domestic accelerators take most of the Prefill work, high-bandwidth GPUs take Decode, and the two stages pass their state through KV Cache links that run across a mix of 800G, 400G and 200G networks inside one cluster of 10,000-GPU scale at its Lingang AIDC.
Un token est un fragment de texte qu'un modèle lit ou écrit, et l'inférence désigne le travail qui consiste à les produire. SenseCore répartit ce travail en deux. Prefill traite l'entrée et exige beaucoup de calcul. Decode génère la sortie pas à pas et, à chaque étape, relit le contexte stocké, ce qui lui impose une très forte bande passante mémoire. Dans l'architecture de SenseCore, les accélérateurs domestiques prennent l'essentiel du Prefill, les GPU à forte bande passante prennent le Decode, et les deux étapes échangent leur état via des liaisons KV Cache qui traversent un mélange de réseaux 800G, 400G et 200G au sein d'un même cluster de l'ordre de 10 000 GPU, sur son site AIDC de Lingang.
The split brings its own risk. In some configurations, 30 to 50 mid- or lower-tier Prefill nodes can feed a single Decode node, so one Decode failure can leave a large pool of Prefill capacity idle. SenseCore keeps a small reserve of high-end cards in the Prefill pool for fast failover, and lets nodes switch between Prefill and Decode roles as load changes. In one test configuration, with the same count of flagship GPUs as a baseline, the company reports about five times the overall token throughput after this heterogeneous scheduling. These are company figures from its own test, and no independent measurement accompanies them.
Cette séparation comporte son propre risque. Dans certaines configurations, 30 à 50 nœuds Prefill de gamme intermédiaire ou inférieure peuvent alimenter un seul nœud Decode, si bien qu'une défaillance du Decode peut laisser inutilisée une grande partie de la capacité Prefill. SenseCore conserve une petite réserve de cartes haut de gamme dans le pool de Prefill pour un basculement rapide, et laisse les nœuds changer de rôle entre Prefill et Decode selon la charge. Dans une configuration de test, avec le même nombre de GPU phares que la référence, l'entreprise annonce environ cinq fois le débit de tokens global après cette ordonnancement hétérogène. Il s'agit de chiffres de l'entreprise issus de son propre test, sans mesure indépendante.
SenseCore is also exploring cross-domain PD, which would send Prefill work to regional mid-tier capacity and Decode work to remote high-bandwidth clusters. The motive is the size of the context memory: on some models, the KV Cache needed for million-token contexts shrinks from near 100 GB toward about 1 GB, which makes it practical to move over a network. The company is additionally studying the separation of Attention and FFN computations inside Decode. Both ideas are at the exploration stage, not in service.
SenseCore explore aussi le PD inter-domaines, qui enverrait le travail de Prefill vers des capacités régionales de gamme intermédiaire et le travail de Decode vers des clusters distants à forte bande passante. La motivation tient à la taille de la mémoire de contexte : sur certains modèles, le KV Cache nécessaire pour des contextes d'un million de tokens passe de près de 100 GB à environ 1 GB, ce qui rend son transfert sur le réseau envisageable. L'entreprise étudie par ailleurs la séparation des calculs Attention et FFN au sein du Decode. Ces deux pistes sont au stade de l'exploration, pas en service.
The scale is already large: SenseCore says its platform serves about 6 trillion tokens per day, and it aims for 10 trillion by the fourth quarter of 2026, with full-year token volume targeted to grow roughly 25 times. For cloud customers and the teams building agents on top of them, the practical gain would be cheaper tokens at the same hardware budget, provided the company's throughput figures hold outside its own tests. For domestic chip makers, the message is a larger role in Prefill and mixed inference, not a wholesale replacement of high-bandwidth GPUs on Decode, which the company did not claim.
L'échelle est déjà importante : SenseCore indique que sa plateforme traite environ 6 000 milliards de tokens par jour, et elle vise 10 000 milliards au quatrième trimestre 2026, avec un volume annuel de tokens visé en hausse d'environ 25 fois. Pour les clients cloud et les équipes qui construisent des agents par-dessus, le gain concret serait des tokens moins chers à budget matériel constant, à condition que les chiffres de débit de l'entreprise se confirment hors de ses propres tests. Pour les fabricants de puces domestiques, le message est un rôle plus important dans le Prefill et l'inférence mixte, et non un remplacement généralisé des GPU à forte bande passante sur le Decode, que l'entreprise n'a pas revendiqué.