SenseTime répartit l'inférence IA entre deux types de puces

Le 16 octobre, lors du 10e CSDI Summit à Shenzhen, Xuan Shanming, vice-président et directeur technique du SenseCore de SenseTime, a décrit un système d'inférence reconstruit pour ce qu'il appelle l'ère agentique. Dans cette ère, plusieurs agents d'IA travaillent ensemble sur des tâches en plusieurs étapes qui durent des heures sans que personne ne les surveille. Ces tâches consomment bien plus de tokens qu'un chatbot n'en a jamais consommé, et son argument portait moins sur le nombre d'accélérateurs qu'un centre de données possède que sur la régularité avec laquelle il peut produire de bons tokens dans les limites de coût et de niveau de service.

Un token est un fragment de texte qu'un modèle lit ou écrit, et l'inférence désigne le travail qui consiste à les produire. SenseCore répartit ce travail en deux. Prefill traite l'entrée et exige beaucoup de calcul. Decode génère la sortie pas à pas et, à chaque étape, relit le contexte stocké, ce qui lui impose une très forte bande passante mémoire. Dans l'architecture de SenseCore, les accélérateurs domestiques prennent l'essentiel du Prefill, les GPU à forte bande passante prennent le Decode, et les deux étapes échangent leur état via des liaisons KV Cache qui traversent un mélange de réseaux 800G, 400G et 200G au sein d'un même cluster de l'ordre de 10 000 GPU, sur son site AIDC de Lingang.

Cette séparation comporte son propre risque. Dans certaines configurations, 30 à 50 nœuds Prefill de gamme intermédiaire ou inférieure peuvent alimenter un seul nœud Decode, si bien qu'une défaillance du Decode peut laisser inutilisée une grande partie de la capacité Prefill. SenseCore conserve une petite réserve de cartes haut de gamme dans le pool de Prefill pour un basculement rapide, et laisse les nœuds changer de rôle entre Prefill et Decode selon la charge. Dans une configuration de test, avec le même nombre de GPU phares que la référence, l'entreprise annonce environ cinq fois le débit de tokens global après cette ordonnancement hétérogène. Il s'agit de chiffres de l'entreprise issus de son propre test, sans mesure indépendante.

SenseCore explore aussi le PD inter-domaines, qui enverrait le travail de Prefill vers des capacités régionales de gamme intermédiaire et le travail de Decode vers des clusters distants à forte bande passante. La motivation tient à la taille de la mémoire de contexte : sur certains modèles, le KV Cache nécessaire pour des contextes d'un million de tokens passe de près de 100 GB à environ 1 GB, ce qui rend son transfert sur le réseau envisageable. L'entreprise étudie par ailleurs la séparation des calculs Attention et FFN au sein du Decode. Ces deux pistes sont au stade de l'exploration, pas en service.

L'échelle est déjà importante : SenseCore indique que sa plateforme traite environ 6 000 milliards de tokens par jour, et elle vise 10 000 milliards au quatrième trimestre 2026, avec un volume annuel de tokens visé en hausse d'environ 25 fois. Pour les clients cloud et les équipes qui construisent des agents par-dessus, le gain concret serait des tokens moins chers à budget matériel constant, à condition que les chiffres de débit de l'entreprise se confirment hors de ses propres tests. Pour les fabricants de puces domestiques, le message est un rôle plus important dans le Prefill et l'inférence mixte, et non un remplacement généralisé des GPU à forte bande passante sur le Decode, que l'entreprise n'a pas revendiqué.