SenseTime divide a inferência de IA por dois tipos de chips

A 16 de outubro, na 10.ª Cimeira CSDI, em Shenzhen, Xuan Shanming, vice-presidente e CTO do SenseCore da SenseTime, descreveu um sistema de inferência reconstruído para aquilo a que chamou uma «era agêntica». Nessa era, vários agentes de IA trabalham em conjunto em tarefas de várias etapas que decorrem durante horas sem que ninguém as acompanhe. Essas tarefas consomem muito mais tokens do que alguma vez um chatbot consumiu, e a mensagem que deixou foi menos sobre quantos aceleradores um centro de dados possui do que sobre a regularidade com que consegue produzir bons tokens dentro dos objetivos de custo e de serviço.

Um token é um fragmento de texto que um modelo lê ou escreve, e a inferência é o trabalho de os produzir. O SenseCore divide esse trabalho em dois. Prefill processa a entrada e exige muito cálculo. Decode gera a saída passo a passo e, em cada passo, relê o contexto armazenado, o que o torna dependente de uma largura de banda de memória muito elevada. Na conceção do SenseCore, os aceleradores nacionais assumem a maior parte do trabalho de Prefill, as GPU de elevada largura de banda ficam com o Decode, e as duas fases transmitem o seu estado através de ligações KV Cache que atravessam uma combinação de redes de 800G, 400G e 200G dentro de um único cluster, à escala de 10 000 GPU, no seu AIDC de Lingang.

A divisão traz consigo um risco próprio. Em algumas configurações, 30 a 50 nós de Prefill de nível intermédio ou inferior podem alimentar um único nó de Decode, pelo que uma falha de Decode pode deixar inativa uma grande reserva de capacidade de Prefill. O SenseCore mantém uma pequena reserva de cartões topo de gama no conjunto de Prefill para uma recuperação rápida, e permite que os nós alternem entre as funções de Prefill e Decode à medida que a carga muda. Num cenário de teste, com o mesmo número de GPU topo de gama que uma referência, a empresa indica cerca de cinco vezes o débito global de tokens após esta programação heterogénea. Trata-se de números da própria empresa, obtidos no seu teste, e não os acompanha nenhuma medição independente.

O SenseCore está também a explorar o PD entre domínios, que enviaria o trabalho de Prefill para capacidade regional de nível intermédio e o trabalho de Decode para clusters remotos de elevada largura de banda. A motivação é a dimensão da memória de contexto: em alguns modelos, a KV Cache necessária para contextos de um milhão de tokens reduz-se de perto de 100 GB para cerca de 1 GB, o que torna viável transmiti-la pela rede. A empresa estuda ainda a separação dos cálculos de Attention e FFN dentro do Decode. As duas ideias estão em fase de exploração, não em serviço.

A escala já é grande: o SenseCore diz que a sua plataforma serve cerca de 6 biliões de tokens por dia, e visa 10 biliões no quarto trimestre de 2026, com o volume anual de tokens a crescer cerca de 25 vezes. Para os clientes de cloud e para as equipas que criam agentes sobre essa infraestrutura, o ganho prático seria tokens mais baratos com o mesmo orçamento de hardware, desde que os números de débito da empresa se confirmem fora dos seus próprios testes. Para os fabricantes de chips nacionais, a mensagem é um papel maior no Prefill e na inferência mista, e não a substituição generalizada das GPU de elevada largura de banda no Decode, que a empresa não afirmou.