SenseTime divide l'inferenza AI tra due tipi di chip

Il 16 ottobre, al 10° CSDI Summit di Shenzhen, Xuan Shanming, vicepresidente e CTO di SenseCore di SenseTime, ha descritto un sistema di inferenza ricostruito per quella che ha definito l'era agentica. In quest'era, più agenti IA lavorano insieme su compiti in più fasi che durano ore senza che nessuno li controlli. Questi compiti consumano molti più token di quanto abbia mai fatto un chatbot, e la sua tesi riguardava meno il numero di acceleratori che un data center possiede che la capacità di produrre in modo stabile token di buona qualità entro obiettivi di costo e di servizio.

Un token è un frammento di testo che un modello legge o scrive, e l'inferenza è il lavoro necessario a produrli. SenseCore divide questo lavoro in due. Prefill elabora l'input ed è molto oneroso in termini di calcolo. Decode genera l'output un passo alla volta e, a ogni passo, rilegge il contesto memorizzato, il che richiede una larghezza di banda di memoria molto elevata. Nel progetto di SenseCore, gli acceleratori nazionali svolgono la maggior parte del lavoro di Prefill, le GPU ad alta larghezza di banda prendono in carico il Decode, e le due fasi si scambiano lo stato attraverso collegamenti KV Cache che attraversano una combinazione di reti da 800G, 400G e 200G all'interno di un unico cluster di scala 10.000 GPU presso il suo AIDC di Lingang.

La suddivisione porta con sé un rischio. In alcune configurazioni, da 30 a 50 nodi di Prefill di fascia media o bassa possono alimentare un singolo nodo di Decode, quindi un guasto del Decode può lasciare inattiva una grande quantità di capacità di Prefill. SenseCore mantiene una piccola riserva di schede di fascia alta nel pool di Prefill per un passaggio rapido a un altro nodo in caso di guasto, e permette ai nodi di cambiare ruolo tra Prefill e Decode al variare del carico. In una configurazione di test, con lo stesso numero di GPU di punta della baseline, l'azienda dichiara circa cinque volte la produttività complessiva in token dopo questa pianificazione eterogenea. Si tratta di dati aziendali ricavati dal proprio test, e non è disponibile alcuna misurazione indipendente a supporto.

SenseCore sta anche esplorando il PD cross-dominio, che invierebbe il lavoro di Prefill a capacità regionali di fascia media e quello di Decode a cluster remoti ad alta larghezza di banda. La motivazione è la dimensione della memoria di contesto: su alcuni modelli, la KV Cache necessaria per contesti da milioni di token scende da quasi 100 GB a circa 1 GB, il che rende praticabile lo spostamento sulla rete. L'azienda sta inoltre studiando la separazione dei calcoli di Attention e FFN all'interno del Decode. Entrambe le idee sono ancora allo stadio di esplorazione, non sono in servizio.

La scala è già grande: SenseCore dichiara che la sua piattaforma serve circa 6.000 miliardi di token al giorno, e punta a 10.000 miliardi entro il quarto trimestre 2026, con un volume annuo di token che dovrebbe crescere di circa 25 volte. Per i clienti cloud e per i team che costruiscono agenti sopra di essi, il vantaggio pratico sarebbe token meno costosi a parità di budget hardware, purché i dati di produttività dell'azienda reggano al di fuori dei suoi test. Per i produttori di chip nazionali, il messaggio è un ruolo più ampio nel Prefill e nell'inferenza mista, non una sostituzione integrale delle GPU ad alta larghezza di banda nel Decode, che l'azienda non ha sostenuto.