Ant Group e vLLM lançam a biblioteca open source Humming

Na maior parte do tempo, a GPU gasta a responder a um pedido em multiplicar grandes grelhas de números. Em outubro, a Ant Group e a comunidade vLLM lançaram o Humming, uma biblioteca de código aberto que gera, sob demanda, o código dessas multiplicações, ajustado à precisão, à estrutura do modelo e ao chip em utilização. É publicada sob licença Apache 2.0, a partir da organização inclusionAI da Ant Group, e espelhada no projeto vLLM.

A quantização armazena os pesos de um modelo com menos bits: o INT4 usa 4 bits por peso, enquanto o FP16 usa 16, o que reduz a utilização de memória. Cada combinação de largura dos pesos, formato de ativação, esquema de escalonamento, estrutura densa ou de mistura de especialistas e geração de GPU tendia a exigir um kernel próprio, ou seja, o código de baixo nível que corre no chip. O Humming converte os formatos suportados numa descrição comum e compila kernels a partir de componentes CUDA reutilizáveis. Cobre pesos inteiros de INT1 a INT8 e pesos em vírgula flutuante de FP4 a FP8, nas camadas densas e MoE (mistura de especialistas), e tem como alvo as GPU da NVIDIA a partir da arquitetura Turing. As suas dependências limitam-se ao PyTorch e ao NVCC, o compilador da NVIDIA, e o pacote pip ocupa cerca de 100 KB.

O anúncio vai também além da NVIDIA. Diz que o Humming já suporta totalmente o Zhenwu 810E da T-Head, um acelerador de IA compatível com CUDA da unidade de chips da Alibaba, e que o mesmo caminho de kernels e de ajuste pode correr nesse dispositivo. O Zhenwu 810E já tinha aparecido em implementações anteriores de serviços de IA na China. Os números de desempenho provêm dos microbenchmarks e dos testes de serviço das próprias equipas e não foram verificados por terceiros. Com lotes de pequena dimensão, o W4A16 denso (pesos de 4 bits e ativações de 16 bits) é apresentado como cerca de 3 a 4 vezes o cuBLAS em vários dispositivos, e na B300, o W4A8 atinge cerca de 1,6 vezes a referência DeepGEMM em alguns casos de lotes pequenos a médios.

O teste mais concreto é o de ponta a ponta. Em oito GPU H20, a executar o DeepSeek-V4.1-Flash com as camadas MoE trocadas do Marlin W4A16 para o Humming W4A8, o débito de saída subiu cerca de 14 % a 43 % e o tempo médio até ao primeiro token, a espera até aparecer a primeira palavra, desceu cerca de 25 % a 32 %. Os maiores ganhos surgiram com maior concorrência, isto é, quando são servidos mais pedidos em simultâneo.

Para quem gere a infraestrutura, a mudança é um interruptor de configuração e não uma reescrita. A partir da versão 0.29.0 do vLLM, as instalações CUDA incluem o Humming como dependência, selecionável com --linear-backend humming e --moe-backend humming. Uma equipa que sirva modelos quantizados em hardware da NVIDIA pode executar o seu próprio tráfego com estas opções, e essa medição dirá quanto da gama anunciada se aplica à sua carga de trabalho. O suporte ao Zhenwu é o que a versão declara; os números de desempenho mais gerais continuam à espera de benchmarks externos. O Humming é um projeto conjunto da Ant Group e do vLLM, e não um produto exclusivo da Ant.