Le due versioni sono allineate blocco per blocco, nell’ordine del testo: titolo, l’essenziale, poi paragrafo per paragrafo. Quando la traduzione ha fuso o diviso un paragrafo, la casella corrispondente resta vuota — non accostiamo mai due passaggi a occhio.
On October 16, at the 10th CSDI Summit in Shenzhen, Xuan Shanming, vice president and CTO of SenseTime's SenseCore, described a rebuilt inference system for what he called an agentic era. In that era, several AI agents work together on multi-step jobs that run for hours without anyone watching. Those jobs consume far more tokens than a chatbot ever did, and the pitch he made was less about how many accelerators a data center owns than about how steadily it can turn out good tokens within cost and service targets.
Il 16 ottobre, al 10° CSDI Summit di Shenzhen, Xuan Shanming, vicepresidente e CTO di SenseCore di SenseTime, ha descritto un sistema di inferenza ricostruito per quella che ha definito l'era agentica. In quest'era, più agenti IA lavorano insieme su compiti in più fasi che durano ore senza che nessuno li controlli. Questi compiti consumano molti più token di quanto abbia mai fatto un chatbot, e la sua tesi riguardava meno il numero di acceleratori che un data center possiede che la capacità di produrre in modo stabile token di buona qualità entro obiettivi di costo e di servizio.
A token is a fragment of text that a model reads or writes, and inference is the work of producing them. SenseCore splits that work in two. Prefill processes the input and is heavy on computation. Decode generates the output one step at a time, and at each step it reads back the stored context, which makes it need very high memory bandwidth. In SenseCore's design, domestic accelerators take most of the Prefill work, high-bandwidth GPUs take Decode, and the two stages pass their state through KV Cache links that run across a mix of 800G, 400G and 200G networks inside one cluster of 10,000-GPU scale at its Lingang AIDC.
Un token è un frammento di testo che un modello legge o scrive, e l'inferenza è il lavoro necessario a produrli. SenseCore divide questo lavoro in due. Prefill elabora l'input ed è molto oneroso in termini di calcolo. Decode genera l'output un passo alla volta e, a ogni passo, rilegge il contesto memorizzato, il che richiede una larghezza di banda di memoria molto elevata. Nel progetto di SenseCore, gli acceleratori nazionali svolgono la maggior parte del lavoro di Prefill, le GPU ad alta larghezza di banda prendono in carico il Decode, e le due fasi si scambiano lo stato attraverso collegamenti KV Cache che attraversano una combinazione di reti da 800G, 400G e 200G all'interno di un unico cluster di scala 10.000 GPU presso il suo AIDC di Lingang.
The split brings its own risk. In some configurations, 30 to 50 mid- or lower-tier Prefill nodes can feed a single Decode node, so one Decode failure can leave a large pool of Prefill capacity idle. SenseCore keeps a small reserve of high-end cards in the Prefill pool for fast failover, and lets nodes switch between Prefill and Decode roles as load changes. In one test configuration, with the same count of flagship GPUs as a baseline, the company reports about five times the overall token throughput after this heterogeneous scheduling. These are company figures from its own test, and no independent measurement accompanies them.
La suddivisione porta con sé un rischio. In alcune configurazioni, da 30 a 50 nodi di Prefill di fascia media o bassa possono alimentare un singolo nodo di Decode, quindi un guasto del Decode può lasciare inattiva una grande quantità di capacità di Prefill. SenseCore mantiene una piccola riserva di schede di fascia alta nel pool di Prefill per un passaggio rapido a un altro nodo in caso di guasto, e permette ai nodi di cambiare ruolo tra Prefill e Decode al variare del carico. In una configurazione di test, con lo stesso numero di GPU di punta della baseline, l'azienda dichiara circa cinque volte la produttività complessiva in token dopo questa pianificazione eterogenea. Si tratta di dati aziendali ricavati dal proprio test, e non è disponibile alcuna misurazione indipendente a supporto.
SenseCore is also exploring cross-domain PD, which would send Prefill work to regional mid-tier capacity and Decode work to remote high-bandwidth clusters. The motive is the size of the context memory: on some models, the KV Cache needed for million-token contexts shrinks from near 100 GB toward about 1 GB, which makes it practical to move over a network. The company is additionally studying the separation of Attention and FFN computations inside Decode. Both ideas are at the exploration stage, not in service.
SenseCore sta anche esplorando il PD cross-dominio, che invierebbe il lavoro di Prefill a capacità regionali di fascia media e quello di Decode a cluster remoti ad alta larghezza di banda. La motivazione è la dimensione della memoria di contesto: su alcuni modelli, la KV Cache necessaria per contesti da milioni di token scende da quasi 100 GB a circa 1 GB, il che rende praticabile lo spostamento sulla rete. L'azienda sta inoltre studiando la separazione dei calcoli di Attention e FFN all'interno del Decode. Entrambe le idee sono ancora allo stadio di esplorazione, non sono in servizio.
The scale is already large: SenseCore says its platform serves about 6 trillion tokens per day, and it aims for 10 trillion by the fourth quarter of 2026, with full-year token volume targeted to grow roughly 25 times. For cloud customers and the teams building agents on top of them, the practical gain would be cheaper tokens at the same hardware budget, provided the company's throughput figures hold outside its own tests. For domestic chip makers, the message is a larger role in Prefill and mixed inference, not a wholesale replacement of high-bandwidth GPUs on Decode, which the company did not claim.
La scala è già grande: SenseCore dichiara che la sua piattaforma serve circa 6.000 miliardi di token al giorno, e punta a 10.000 miliardi entro il quarto trimestre 2026, con un volume annuo di token che dovrebbe crescere di circa 25 volte. Per i clienti cloud e per i team che costruiscono agenti sopra di essi, il vantaggio pratico sarebbe token meno costosi a parità di budget hardware, purché i dati di produttività dell'azienda reggano al di fuori dei suoi test. Per i produttori di chip nazionali, il messaggio è un ruolo più ampio nel Prefill e nell'inferenza mista, non una sostituzione integrale delle GPU ad alta larghezza di banda nel Decode, che l'azienda non ha sostenuto.