As duas versões estão alinhadas bloco a bloco, pela ordem do texto: título, o essencial e depois parágrafo a parágrafo. Quando a tradução fundiu ou dividiu um parágrafo, a casa correspondente fica vazia — nunca aproximamos duas passagens a olho.
Most of the time a GPU spends answering a prompt goes into multiplying large grids of numbers. In October, Ant Group and the vLLM community released Humming, an open-source library that generates the code for those multiplications on demand, tuned to the precision, model layout and chip in use. It is published under the Apache 2.0 licence from Ant Group's inclusionAI organisation and mirrored under the vLLM project.
Na maior parte do tempo, a GPU gasta a responder a um pedido em multiplicar grandes grelhas de números. Em outubro, a Ant Group e a comunidade vLLM lançaram o Humming, uma biblioteca de código aberto que gera, sob demanda, o código dessas multiplicações, ajustado à precisão, à estrutura do modelo e ao chip em utilização. É publicada sob licença Apache 2.0, a partir da organização inclusionAI da Ant Group, e espelhada no projeto vLLM.
Quantization stores a model's weights with fewer bits: INT4 uses 4 bits per weight where FP16 uses 16, which shrinks memory use. Each combination of weight width, activation format, scaling scheme, dense or mixture-of-experts layout, and GPU generation has tended to need its own kernel, the low-level code that runs on the chip. Humming converts supported formats into one shared description and compiles kernels from reusable CUDA components. It covers integer weights from INT1 to INT8 and floating-point weights from FP4 to FP8, on dense and MoE (mixture-of-experts) layers, and targets NVIDIA GPUs from Turing onward. Its dependencies are limited to PyTorch and NVCC, NVIDIA's compiler, and the pip package is about 100 KB.
A quantização armazena os pesos de um modelo com menos bits: o INT4 usa 4 bits por peso, enquanto o FP16 usa 16, o que reduz a utilização de memória. Cada combinação de largura dos pesos, formato de ativação, esquema de escalonamento, estrutura densa ou de mistura de especialistas e geração de GPU tendia a exigir um kernel próprio, ou seja, o código de baixo nível que corre no chip. O Humming converte os formatos suportados numa descrição comum e compila kernels a partir de componentes CUDA reutilizáveis. Cobre pesos inteiros de INT1 a INT8 e pesos em vírgula flutuante de FP4 a FP8, nas camadas densas e MoE (mistura de especialistas), e tem como alvo as GPU da NVIDIA a partir da arquitetura Turing. As suas dependências limitam-se ao PyTorch e ao NVCC, o compilador da NVIDIA, e o pacote pip ocupa cerca de 100 KB.
The release also points beyond NVIDIA. It says Humming already fully supports T-Head's Zhenwu 810E, a CUDA-compatible AI accelerator from Alibaba's chip unit, and that the same kernel and tuning path can run on that device. Zhenwu 810E has already appeared in earlier Chinese AI serving deployments. The performance figures come from the teams' own microbenchmarks and serving tests and have not been independently verified. At small batch sizes, dense W4A16 (4-bit weights, 16-bit activations) is reported at roughly 3 to 4 times cuBLAS on several devices, and on B300, W4A8 reaches about 1.6 times a DeepGEMM baseline in some small-to-medium batch cases.
O anúncio vai também além da NVIDIA. Diz que o Humming já suporta totalmente o Zhenwu 810E da T-Head, um acelerador de IA compatível com CUDA da unidade de chips da Alibaba, e que o mesmo caminho de kernels e de ajuste pode correr nesse dispositivo. O Zhenwu 810E já tinha aparecido em implementações anteriores de serviços de IA na China. Os números de desempenho provêm dos microbenchmarks e dos testes de serviço das próprias equipas e não foram verificados por terceiros. Com lotes de pequena dimensão, o W4A16 denso (pesos de 4 bits e ativações de 16 bits) é apresentado como cerca de 3 a 4 vezes o cuBLAS em vários dispositivos, e na B300, o W4A8 atinge cerca de 1,6 vezes a referência DeepGEMM em alguns casos de lotes pequenos a médios.
The most concrete test is end-to-end. On eight H20 GPUs, running DeepSeek-V4.1-Flash with the MoE layers switched from Marlin W4A16 to Humming W4A8 raised output throughput by about 14% to 43% and cut mean time to first token, the wait before the first word appears, by about 25% to 32%. The largest gains came at higher concurrency, that is, when more requests are served at once.
O teste mais concreto é o de ponta a ponta. Em oito GPU H20, a executar o DeepSeek-V4.1-Flash com as camadas MoE trocadas do Marlin W4A16 para o Humming W4A8, o débito de saída subiu cerca de 14 % a 43 % e o tempo médio até ao primeiro token, a espera até aparecer a primeira palavra, desceu cerca de 25 % a 32 %. Os maiores ganhos surgiram com maior concorrência, isto é, quando são servidos mais pedidos em simultâneo.
For operators, the change is a configuration switch rather than a rewrite. From vLLM 0.29.0, CUDA installs of vLLM include Humming as a dependency, selectable with --linear-backend humming and --moe-backend humming. A team serving quantized models on NVIDIA hardware can run its own traffic with those flags, and that measurement will settle how much of the reported range applies to its workload. The Zhenwu support is what the release states; the broader speed figures still await outside benchmarks. Humming is a joint Ant Group and vLLM project, not an Ant-only product.
Para quem gere a infraestrutura, a mudança é um interruptor de configuração e não uma reescrita. A partir da versão 0.29.0 do vLLM, as instalações CUDA incluem o Humming como dependência, selecionável com --linear-backend humming e --moe-backend humming. Uma equipa que sirva modelos quantizados em hardware da NVIDIA pode executar o seu próprio tráfego com estas opções, e essa medição dirá quanto da gama anunciada se aplica à sua carga de trabalho. O suporte ao Zhenwu é o que a versão declara; os números de desempenho mais gerais continuam à espera de benchmarks externos. O Humming é um projeto conjunto da Ant Group e do vLLM, e não um produto exclusivo da Ant.