As duas versões estão alinhadas bloco a bloco, pela ordem do texto: título, o essencial e depois parágrafo a parágrafo. Quando a tradução fundiu ou dividiu um parágrafo, a casa correspondente fica vazia — nunca aproximamos duas passagens a olho.
On October 16, at the 10th CSDI Summit in Shenzhen, Xuan Shanming, vice president and CTO of SenseTime's SenseCore, described a rebuilt inference system for what he called an agentic era. In that era, several AI agents work together on multi-step jobs that run for hours without anyone watching. Those jobs consume far more tokens than a chatbot ever did, and the pitch he made was less about how many accelerators a data center owns than about how steadily it can turn out good tokens within cost and service targets.
A 16 de outubro, na 10.ª Cimeira CSDI, em Shenzhen, Xuan Shanming, vice-presidente e CTO do SenseCore da SenseTime, descreveu um sistema de inferência reconstruído para aquilo a que chamou uma «era agêntica». Nessa era, vários agentes de IA trabalham em conjunto em tarefas de várias etapas que decorrem durante horas sem que ninguém as acompanhe. Essas tarefas consomem muito mais tokens do que alguma vez um chatbot consumiu, e a mensagem que deixou foi menos sobre quantos aceleradores um centro de dados possui do que sobre a regularidade com que consegue produzir bons tokens dentro dos objetivos de custo e de serviço.
A token is a fragment of text that a model reads or writes, and inference is the work of producing them. SenseCore splits that work in two. Prefill processes the input and is heavy on computation. Decode generates the output one step at a time, and at each step it reads back the stored context, which makes it need very high memory bandwidth. In SenseCore's design, domestic accelerators take most of the Prefill work, high-bandwidth GPUs take Decode, and the two stages pass their state through KV Cache links that run across a mix of 800G, 400G and 200G networks inside one cluster of 10,000-GPU scale at its Lingang AIDC.
Um token é um fragmento de texto que um modelo lê ou escreve, e a inferência é o trabalho de os produzir. O SenseCore divide esse trabalho em dois. Prefill processa a entrada e exige muito cálculo. Decode gera a saída passo a passo e, em cada passo, relê o contexto armazenado, o que o torna dependente de uma largura de banda de memória muito elevada. Na conceção do SenseCore, os aceleradores nacionais assumem a maior parte do trabalho de Prefill, as GPU de elevada largura de banda ficam com o Decode, e as duas fases transmitem o seu estado através de ligações KV Cache que atravessam uma combinação de redes de 800G, 400G e 200G dentro de um único cluster, à escala de 10 000 GPU, no seu AIDC de Lingang.
The split brings its own risk. In some configurations, 30 to 50 mid- or lower-tier Prefill nodes can feed a single Decode node, so one Decode failure can leave a large pool of Prefill capacity idle. SenseCore keeps a small reserve of high-end cards in the Prefill pool for fast failover, and lets nodes switch between Prefill and Decode roles as load changes. In one test configuration, with the same count of flagship GPUs as a baseline, the company reports about five times the overall token throughput after this heterogeneous scheduling. These are company figures from its own test, and no independent measurement accompanies them.
A divisão traz consigo um risco próprio. Em algumas configurações, 30 a 50 nós de Prefill de nível intermédio ou inferior podem alimentar um único nó de Decode, pelo que uma falha de Decode pode deixar inativa uma grande reserva de capacidade de Prefill. O SenseCore mantém uma pequena reserva de cartões topo de gama no conjunto de Prefill para uma recuperação rápida, e permite que os nós alternem entre as funções de Prefill e Decode à medida que a carga muda. Num cenário de teste, com o mesmo número de GPU topo de gama que uma referência, a empresa indica cerca de cinco vezes o débito global de tokens após esta programação heterogénea. Trata-se de números da própria empresa, obtidos no seu teste, e não os acompanha nenhuma medição independente.
SenseCore is also exploring cross-domain PD, which would send Prefill work to regional mid-tier capacity and Decode work to remote high-bandwidth clusters. The motive is the size of the context memory: on some models, the KV Cache needed for million-token contexts shrinks from near 100 GB toward about 1 GB, which makes it practical to move over a network. The company is additionally studying the separation of Attention and FFN computations inside Decode. Both ideas are at the exploration stage, not in service.
O SenseCore está também a explorar o PD entre domínios, que enviaria o trabalho de Prefill para capacidade regional de nível intermédio e o trabalho de Decode para clusters remotos de elevada largura de banda. A motivação é a dimensão da memória de contexto: em alguns modelos, a KV Cache necessária para contextos de um milhão de tokens reduz-se de perto de 100 GB para cerca de 1 GB, o que torna viável transmiti-la pela rede. A empresa estuda ainda a separação dos cálculos de Attention e FFN dentro do Decode. As duas ideias estão em fase de exploração, não em serviço.
The scale is already large: SenseCore says its platform serves about 6 trillion tokens per day, and it aims for 10 trillion by the fourth quarter of 2026, with full-year token volume targeted to grow roughly 25 times. For cloud customers and the teams building agents on top of them, the practical gain would be cheaper tokens at the same hardware budget, provided the company's throughput figures hold outside its own tests. For domestic chip makers, the message is a larger role in Prefill and mixed inference, not a wholesale replacement of high-bandwidth GPUs on Decode, which the company did not claim.
A escala já é grande: o SenseCore diz que a sua plataforma serve cerca de 6 biliões de tokens por dia, e visa 10 biliões no quarto trimestre de 2026, com o volume anual de tokens a crescer cerca de 25 vezes. Para os clientes de cloud e para as equipas que criam agentes sobre essa infraestrutura, o ganho prático seria tokens mais baratos com o mesmo orçamento de hardware, desde que os números de débito da empresa se confirmem fora dos seus próprios testes. Para os fabricantes de chips nacionais, a mensagem é um papel maior no Prefill e na inferência mista, e não a substituição generalizada das GPU de elevada largura de banda no Decode, que a empresa não afirmou.