Le due versioni sono allineate blocco per blocco, nell’ordine del testo: titolo, l’essenziale, poi paragrafo per paragrafo. Quando la traduzione ha fuso o diviso un paragrafo, la casella corrispondente resta vuota — non accostiamo mai due passaggi a occhio.
Most of the time a GPU spends answering a prompt goes into multiplying large grids of numbers. In October, Ant Group and the vLLM community released Humming, an open-source library that generates the code for those multiplications on demand, tuned to the precision, model layout and chip in use. It is published under the Apache 2.0 licence from Ant Group's inclusionAI organisation and mirrored under the vLLM project.
Gran parte del tempo che una GPU impiega per rispondere a un prompt va nella moltiplicazione di grandi griglie di numeri. A ottobre, Ant Group e la comunità vLLM hanno rilasciato Humming, una libreria open source che genera su richiesta il codice per queste moltiplicazioni, calibrato sulla precisione, sulla struttura del modello e sul chip in uso. È pubblicata con licenza Apache 2.0 dall'organizzazione inclusionAI di Ant Group e replicata nel progetto vLLM.
Quantization stores a model's weights with fewer bits: INT4 uses 4 bits per weight where FP16 uses 16, which shrinks memory use. Each combination of weight width, activation format, scaling scheme, dense or mixture-of-experts layout, and GPU generation has tended to need its own kernel, the low-level code that runs on the chip. Humming converts supported formats into one shared description and compiles kernels from reusable CUDA components. It covers integer weights from INT1 to INT8 and floating-point weights from FP4 to FP8, on dense and MoE (mixture-of-experts) layers, and targets NVIDIA GPUs from Turing onward. Its dependencies are limited to PyTorch and NVCC, NVIDIA's compiler, and the pip package is about 100 KB.
La quantizzazione memorizza i pesi di un modello con meno bit: INT4 usa 4 bit per peso, mentre FP16 ne usa 16, e questo riduce l'uso della memoria. Ogni combinazione di larghezza dei pesi, formato delle attivazioni, schema di scalatura, struttura densa o a miscela di esperti, e generazione di GPU ha tipicamente richiesto un proprio kernel, cioè il codice di basso livello che gira sul chip. Humming converte i formati supportati in un'unica descrizione condivisa e compila i kernel a partire da componenti CUDA riutilizzabili. Copre pesi interi da da INT1 a INT8 e pesi in virgola mobile da da FP4 a FP8, sui livelli densi e MoE (a miscela di esperti), e punta alle GPU NVIDIA a partire dall'architettura Turing. Le sue dipendenze si limitano a PyTorch e NVCC, il compilatore di NVIDIA, e il pacchetto pip pesa circa 100 KB.
The release also points beyond NVIDIA. It says Humming already fully supports T-Head's Zhenwu 810E, a CUDA-compatible AI accelerator from Alibaba's chip unit, and that the same kernel and tuning path can run on that device. Zhenwu 810E has already appeared in earlier Chinese AI serving deployments. The performance figures come from the teams' own microbenchmarks and serving tests and have not been independently verified. At small batch sizes, dense W4A16 (4-bit weights, 16-bit activations) is reported at roughly 3 to 4 times cuBLAS on several devices, and on B300, W4A8 reaches about 1.6 times a DeepGEMM baseline in some small-to-medium batch cases.
Il rilascio va oltre NVIDIA. Afferma che Humming supporta già pienamente lo Zhenwu 810E di T-Head, un acceleratore IA compatibile con CUDA della divisione chip di Alibaba, e che lo stesso percorso di kernel e di ottimizzazione può girare su quel dispositivo. Lo Zhenwu 810E è già comparso in precedenti impieghi cinesi per l'inferenza IA. Le prestazioni riportate provengono dai microbenchmark e dai test di servizio dei team stessi e non sono state verificate in modo indipendente. Con dimensioni di batch ridotte, il W4A16 denso (pesi a 4 bit, attivazioni a 16 bit) risulta circa da 3 a 4 volte cuBLAS su diversi dispositivi, e su B300 il W4A8 raggiunge circa 1,6 volte una baseline DeepGEMM in alcuni casi con batch piccoli e medi.
The most concrete test is end-to-end. On eight H20 GPUs, running DeepSeek-V4.1-Flash with the MoE layers switched from Marlin W4A16 to Humming W4A8 raised output throughput by about 14% to 43% and cut mean time to first token, the wait before the first word appears, by about 25% to 32%. The largest gains came at higher concurrency, that is, when more requests are served at once.
Il test più concreto è quello end-to-end. Su otto GPU H20, facendo girare DeepSeek-V4.1-Flash con i livelli MoE passati da Marlin W4A16 a Humming W4A8, la produttività in output è aumentata di circa dal 14% al 43% e il tempo medio al primo token, cioè l'attesa prima che compaia la prima parola, si è ridotto di circa dal 25% al 32%. I guadagni maggiori si sono avuti con una concorrenza più alta, cioè quando vengono servite più richieste contemporaneamente.
For operators, the change is a configuration switch rather than a rewrite. From vLLM 0.29.0, CUDA installs of vLLM include Humming as a dependency, selectable with --linear-backend humming and --moe-backend humming. A team serving quantized models on NVIDIA hardware can run its own traffic with those flags, and that measurement will settle how much of the reported range applies to its workload. The Zhenwu support is what the release states; the broader speed figures still await outside benchmarks. Humming is a joint Ant Group and vLLM project, not an Ant-only product.
Per gli operatori, il cambiamento è un interruttore di configurazione piuttosto che una riscrittura. A partire da vLLM 0.29.0, le installazioni CUDA di vLLM includono Humming come dipendenza, selezionabile con --linear-backend humming e --moe-backend humming. Un team che serve modelli quantizzati su hardware NVIDIA può far girare il proprio traffico con quei flag, e quella misura dirà quanta parte dell'intervallo riportato vale per il suo carico di lavoro. Il supporto allo Zhenwu è quanto dichiara il rilascio; le cifre più generali sulla velocità attendono ancora benchmark indipendenti. Humming è un progetto congiunto di Ant Group e vLLM, non un prodotto esclusivo di Ant.