Ant Group e vLLM open source Humming: libreria per l'inferenza

Gran parte del tempo che una GPU impiega per rispondere a un prompt va nella moltiplicazione di grandi griglie di numeri. A ottobre, Ant Group e la comunità vLLM hanno rilasciato Humming, una libreria open source che genera su richiesta il codice per queste moltiplicazioni, calibrato sulla precisione, sulla struttura del modello e sul chip in uso. È pubblicata con licenza Apache 2.0 dall'organizzazione inclusionAI di Ant Group e replicata nel progetto vLLM.

La quantizzazione memorizza i pesi di un modello con meno bit: INT4 usa 4 bit per peso, mentre FP16 ne usa 16, e questo riduce l'uso della memoria. Ogni combinazione di larghezza dei pesi, formato delle attivazioni, schema di scalatura, struttura densa o a miscela di esperti, e generazione di GPU ha tipicamente richiesto un proprio kernel, cioè il codice di basso livello che gira sul chip. Humming converte i formati supportati in un'unica descrizione condivisa e compila i kernel a partire da componenti CUDA riutilizzabili. Copre pesi interi da da INT1 a INT8 e pesi in virgola mobile da da FP4 a FP8, sui livelli densi e MoE (a miscela di esperti), e punta alle GPU NVIDIA a partire dall'architettura Turing. Le sue dipendenze si limitano a PyTorch e NVCC, il compilatore di NVIDIA, e il pacchetto pip pesa circa 100 KB.

Il rilascio va oltre NVIDIA. Afferma che Humming supporta già pienamente lo Zhenwu 810E di T-Head, un acceleratore IA compatibile con CUDA della divisione chip di Alibaba, e che lo stesso percorso di kernel e di ottimizzazione può girare su quel dispositivo. Lo Zhenwu 810E è già comparso in precedenti impieghi cinesi per l'inferenza IA. Le prestazioni riportate provengono dai microbenchmark e dai test di servizio dei team stessi e non sono state verificate in modo indipendente. Con dimensioni di batch ridotte, il W4A16 denso (pesi a 4 bit, attivazioni a 16 bit) risulta circa da 3 a 4 volte cuBLAS su diversi dispositivi, e su B300 il W4A8 raggiunge circa 1,6 volte una baseline DeepGEMM in alcuni casi con batch piccoli e medi.

Il test più concreto è quello end-to-end. Su otto GPU H20, facendo girare DeepSeek-V4.1-Flash con i livelli MoE passati da Marlin W4A16 a Humming W4A8, la produttività in output è aumentata di circa dal 14% al 43% e il tempo medio al primo token, cioè l'attesa prima che compaia la prima parola, si è ridotto di circa dal 25% al 32%. I guadagni maggiori si sono avuti con una concorrenza più alta, cioè quando vengono servite più richieste contemporaneamente.

Per gli operatori, il cambiamento è un interruttore di configurazione piuttosto che una riscrittura. A partire da vLLM 0.29.0, le installazioni CUDA di vLLM includono Humming come dipendenza, selezionabile con --linear-backend humming e --moe-backend humming. Un team che serve modelli quantizzati su hardware NVIDIA può far girare il proprio traffico con quei flag, e quella misura dirà quanta parte dell'intervallo riportato vale per il suo carico di lavoro. Il supporto allo Zhenwu è quanto dichiara il rilascio; le cifre più generali sulla velocità attendono ancora benchmark indipendenti. Humming è un progetto congiunto di Ant Group e vLLM, non un prodotto esclusivo di Ant.