Les deux versions sont alignées bloc par bloc, dans l’ordre du texte : titre, l’essentiel, puis paragraphe par paragraphe. Quand la traduction a fusionné ou scindé un paragraphe, la case correspondante reste vide — on ne rapproche jamais deux passages au jugé.
Most of the time a GPU spends answering a prompt goes into multiplying large grids of numbers. In October, Ant Group and the vLLM community released Humming, an open-source library that generates the code for those multiplications on demand, tuned to the precision, model layout and chip in use. It is published under the Apache 2.0 licence from Ant Group's inclusionAI organisation and mirrored under the vLLM project.
La plupart du temps, le GPU consacre l'essentiel de son effort à répondre à une requête à multiplier de grandes grilles de nombres. En octobre, Ant Group et la communauté vLLM ont publié Humming, une bibliothèque open source qui génère à la demande le code de ces multiplications, réglé selon la précision, l'organisation du modèle et la puce utilisés. Elle est publiée sous licence Apache 2.0 depuis l'organisation inclusionAI d'Ant Group, et reproduite dans le projet vLLM.
Quantization stores a model's weights with fewer bits: INT4 uses 4 bits per weight where FP16 uses 16, which shrinks memory use. Each combination of weight width, activation format, scaling scheme, dense or mixture-of-experts layout, and GPU generation has tended to need its own kernel, the low-level code that runs on the chip. Humming converts supported formats into one shared description and compiles kernels from reusable CUDA components. It covers integer weights from INT1 to INT8 and floating-point weights from FP4 to FP8, on dense and MoE (mixture-of-experts) layers, and targets NVIDIA GPUs from Turing onward. Its dependencies are limited to PyTorch and NVCC, NVIDIA's compiler, and the pip package is about 100 KB.
La quantification stocke les poids d'un modèle avec moins de bits : INT4 utilise 4 bits par poids là où FP16 en utilise 16, ce qui réduit la mémoire nécessaire. Chaque combinaison de largeur des poids, de format d'activation, de schéma de mise à l'échelle, d'organisation dense ou en mélange d'experts, et de génération de GPU a eu tendance à exiger son propre noyau, c'est-à-dire le code bas niveau qui s'exécute sur la puce. Humming convertit les formats pris en charge en une description commune et compile les noyaux à partir de composants CUDA réutilisables. Elle couvre les poids entiers de INT1 à INT8 et les poids à virgule flottante de FP4 à FP8, sur les couches denses et les couches MoE (mélange d'experts), et vise les GPU NVIDIA à partir de l'architecture Turing. Ses dépendances se limitent à PyTorch et à NVCC, le compilateur de NVIDIA, et le paquet pip pèse environ 100 KB.
The release also points beyond NVIDIA. It says Humming already fully supports T-Head's Zhenwu 810E, a CUDA-compatible AI accelerator from Alibaba's chip unit, and that the same kernel and tuning path can run on that device. Zhenwu 810E has already appeared in earlier Chinese AI serving deployments. The performance figures come from the teams' own microbenchmarks and serving tests and have not been independently verified. At small batch sizes, dense W4A16 (4-bit weights, 16-bit activations) is reported at roughly 3 to 4 times cuBLAS on several devices, and on B300, W4A8 reaches about 1.6 times a DeepGEMM baseline in some small-to-medium batch cases.
La version va aussi au-delà de NVIDIA. Elle indique que Humming prend déjà entièrement en charge le Zhenwu 810E de T-Head, un accélérateur d'IA compatible CUDA issu de la filiale puces d'Alibaba, et que la même chaîne de noyaux et de réglages peut fonctionner sur cet appareil. Le Zhenwu 810E est déjà apparu dans des déploiements chinois antérieurs de service d'IA. Les chiffres de performance proviennent des microbenchmarks et des tests de service des équipes elles-mêmes, et n'ont pas été vérifiés de manière indépendante. Pour de petites tailles de lot, le W4A16 dense (poids sur 4 bits, activations sur 16 bits) affiche selon ces tests environ 3 à 4 fois cuBLAS sur plusieurs appareils, et sur B300, le W4A8 atteint environ 1,6 fois une référence DeepGEMM dans certains cas de lots petits à moyens.
The most concrete test is end-to-end. On eight H20 GPUs, running DeepSeek-V4.1-Flash with the MoE layers switched from Marlin W4A16 to Humming W4A8 raised output throughput by about 14% to 43% and cut mean time to first token, the wait before the first word appears, by about 25% to 32%. The largest gains came at higher concurrency, that is, when more requests are served at once.
Le test le plus concret se situe de bout en bout. Sur huit GPU H20, en faisant tourner DeepSeek-V4.1-Flash avec les couches MoE passées de Marlin W4A16 à Humming W4A8, le débit de sortie a augmenté d'environ 14 % à 43 %, et le délai moyen avant le premier jeton, c'est-à-dire l'attente avant l'apparition du premier mot, a diminué d'environ 25 % à 32 %. Les gains les plus importants ont été obtenus à forte concurrence, autrement dit lorsque davantage de requêtes sont traitées simultanément.
For operators, the change is a configuration switch rather than a rewrite. From vLLM 0.29.0, CUDA installs of vLLM include Humming as a dependency, selectable with --linear-backend humming and --moe-backend humming. A team serving quantized models on NVIDIA hardware can run its own traffic with those flags, and that measurement will settle how much of the reported range applies to its workload. The Zhenwu support is what the release states; the broader speed figures still await outside benchmarks. Humming is a joint Ant Group and vLLM project, not an Ant-only product.
Pour les exploitants, le changement tient à un paramètre de configuration plutôt qu'à une réécriture. À partir de vLLM 0.29.0, les installations CUDA de vLLM incluent Humming comme dépendance, sélectionnable avec --linear-backend humming et --moe-backend humming. Une équipe qui sert des modèles quantifiés sur du matériel NVIDIA peut faire tourner son propre trafic avec ces options, et cette mesure dira quelle part de la fourchette annoncée s'applique à sa charge de travail. La prise en charge du Zhenwu est ce que la version affirme ; les chiffres de performance plus larges attendent encore des benchmarks extérieurs. Humming est un projet commun d'Ant Group et de vLLM, et non un produit réservé à Ant.