Las dos versiones están alineadas bloque a bloque, en el orden del texto: titular, lo esencial y después párrafo a párrafo. Cuando la traducción ha fusionado o dividido un párrafo, la casilla correspondiente queda vacía — nunca emparejamos dos pasajes a ojo.
Most of the time a GPU spends answering a prompt goes into multiplying large grids of numbers. In October, Ant Group and the vLLM community released Humming, an open-source library that generates the code for those multiplications on demand, tuned to the precision, model layout and chip in use. It is published under the Apache 2.0 licence from Ant Group's inclusionAI organisation and mirrored under the vLLM project.
La mayor parte del tiempo que una GPU dedica a responder a una consulta se va en multiplicar grandes cuadrículas de números. En octubre, Ant Group y la comunidad de vLLM publicaron Humming, una biblioteca de código abierto que genera bajo demanda el código para esas multiplicaciones, ajustado a la precisión, la disposición del modelo y el chip en uso. Se publica con licencia Apache 2.0 desde la organización inclusionAI de Ant Group y se replica en el proyecto vLLM.
Quantization stores a model's weights with fewer bits: INT4 uses 4 bits per weight where FP16 uses 16, which shrinks memory use. Each combination of weight width, activation format, scaling scheme, dense or mixture-of-experts layout, and GPU generation has tended to need its own kernel, the low-level code that runs on the chip. Humming converts supported formats into one shared description and compiles kernels from reusable CUDA components. It covers integer weights from INT1 to INT8 and floating-point weights from FP4 to FP8, on dense and MoE (mixture-of-experts) layers, and targets NVIDIA GPUs from Turing onward. Its dependencies are limited to PyTorch and NVCC, NVIDIA's compiler, and the pip package is about 100 KB.
La cuantización almacena los pesos de un modelo con menos bits: INT4 usa 4 bits por peso, frente a los 16 de FP16, lo que reduce el consumo de memoria. Cada combinación de anchura de los pesos, formato de activaciones, esquema de escalado, disposición densa o de mezcla de expertos (MoE) y generación de GPU ha solido necesitar su propio kernel, es decir, el código de bajo nivel que se ejecuta en el chip. Humming convierte los formatos compatibles en una descripción común y compila kernels a partir de componentes CUDA reutilizables. Abarca pesos enteros de INT1 a INT8 y pesos en coma flotante de FP4 a FP8, en capas densas y MoE (mezcla de expertos), y está orientada a GPU de NVIDIA desde Turing en adelante. Sus dependencias se limitan a PyTorch y a NVCC, el compilador de NVIDIA, y el paquete pip pesa unos 100 KB.
The release also points beyond NVIDIA. It says Humming already fully supports T-Head's Zhenwu 810E, a CUDA-compatible AI accelerator from Alibaba's chip unit, and that the same kernel and tuning path can run on that device. Zhenwu 810E has already appeared in earlier Chinese AI serving deployments. The performance figures come from the teams' own microbenchmarks and serving tests and have not been independently verified. At small batch sizes, dense W4A16 (4-bit weights, 16-bit activations) is reported at roughly 3 to 4 times cuBLAS on several devices, and on B300, W4A8 reaches about 1.6 times a DeepGEMM baseline in some small-to-medium batch cases.
La publicación también va más allá de NVIDIA. Indica que Humming ya admite por completo el Zhenwu 810E de T-Head, un acelerador de IA compatible con CUDA de la unidad de chips de Alibaba, y que el mismo camino de kernels y ajuste puede ejecutarse en ese dispositivo. El Zhenwu 810E ya ha aparecido en despliegues chinos anteriores de servicio de IA. Las cifras de rendimiento proceden de los microbenchmarks y las pruebas de servicio de los propios equipos y no han sido verificadas por terceros. Con tamaños de lote pequeños, el W4A16 denso (pesos de 4 bits, activaciones de 16 bits) registra unas 3 a 4 veces cuBLAS en varios dispositivos, y en B300, el W4A8 alcanza unas 1,6 veces una referencia DeepGEMM en algunos casos de lotes pequeños y medianos.
The most concrete test is end-to-end. On eight H20 GPUs, running DeepSeek-V4.1-Flash with the MoE layers switched from Marlin W4A16 to Humming W4A8 raised output throughput by about 14% to 43% and cut mean time to first token, the wait before the first word appears, by about 25% to 32%. The largest gains came at higher concurrency, that is, when more requests are served at once.
La prueba más concreta es la de extremo a extremo. En ocho GPU H20, ejecutando DeepSeek-V4.1-Flash con las capas MoE cambiadas de Marlin W4A16 a Humming W4A8, el rendimiento de salida aumentó entre un 14 % y un 43 % aproximadamente, y se redujo el tiempo medio hasta el primer token, la espera antes de que aparezca la primera palabra, entre un 25 % y un 32 %. Las mayores mejoras llegaron con más concurrencia, es decir, cuando se atienden más solicitudes al mismo tiempo.
For operators, the change is a configuration switch rather than a rewrite. From vLLM 0.29.0, CUDA installs of vLLM include Humming as a dependency, selectable with --linear-backend humming and --moe-backend humming. A team serving quantized models on NVIDIA hardware can run its own traffic with those flags, and that measurement will settle how much of the reported range applies to its workload. The Zhenwu support is what the release states; the broader speed figures still await outside benchmarks. Humming is a joint Ant Group and vLLM project, not an Ant-only product.
Para los operadores, el cambio es un interruptor de configuración y no una reescritura. Desde vLLM 0.29.0, las instalaciones CUDA de vLLM incluyen Humming como dependencia, seleccionable con --linear-backend humming y --moe-backend humming. Un equipo que sirva modelos cuantizados en hardware de NVIDIA puede ejecutar su propio tráfico con esas opciones, y esa medición aclarará qué parte del rango publicado se aplica a su carga de trabajo. El soporte para Zhenwu es lo que declara la publicación; las cifras de velocidad más amplias siguen pendientes de pruebas externas. Humming es un proyecto conjunto de Ant Group y vLLM, no un producto exclusivo de Ant.