DeepSeek rilascia open source DeepInfer, il suo motore di inferenza

Il 20 ottobre DeepSeek ha messo a disposizione una parte del motore che risponde ai propri utenti. DeepInfer, il framework di inferenza alla base dei suoi servizi di modelli su larga scala, è ora disponibile su GitHub con licenza Apache 2.0, libero da scaricare, leggere e modificare. L'inferenza è la fase in cui un modello addestrato produce le sue risposte, e ogni parola che scrive richiede un nuovo calcolo: su larga scala è qui che se ne va gran parte del costo e dell'elettricità necessari a far funzionare l'IA.

DeepInfer funziona su due famiglie di chip. Le GPU Blackwell di Nvidia, designate SM100, possono eseguirlo, così come le unità di elaborazione neurale Ascend 950 di Huawei. Il supporto Ascend segue una versione del 30 settembre, in cui DeepSeek ha portato sui processori Huawei TileLang, un linguaggio di programmazione per kernel, uno strumento per scrivere il codice di basso livello che i chip eseguono. Il framework usa anche la decodifica speculativa: un passaggio poco costoso propone parole candidate e il modello principale le verifica in un unico passaggio, così che più parole possano essere accettate in una volta invece di una alla volta. Secondo SiliconANGLE, un aggiornamento recente riduce di circa il 30% il numero di token di bozza verificati a ogni passaggio. Il README indica come base originaria vLLM, progetto open source di serving.

Le prestazioni dichiarate sono quelle dell'azienda e restano discutibili. DeepSeek stima un guadagno di throughput dal 4% al 7% con il suo carico di produzione, e il suo stesso documento riferisce che un cluster serve 155 mila miliardi di token al giorno. Un rapporto di terzi indica una velocità di generazione di 230 token al secondo, fino a 300 token al secondo per le attività di programmazione. Una guida indipendente sul campo richiama l'attenzione sui limiti dei test di riferimento, e un'analisi osserva che la cifra sulla decodifica presuppone un tasso fisso di accettazione delle bozze del 75%, invece di misurarlo. Alcune funzioni dipendono anche dall'hardware: l'inferenza invariante rispetto al batch e il campionamento deterministico funzionano solo su hardware Nvidia. Il framework richiede Linux, GCC 13.0 o successivo, Python 3.12, e CUDA 13 su Nvidia oppure CANN 9.2 su Ascend.

Per un team che già fa girare i modelli DeepSeek sulle proprie macchine, il codice può essere letto e testato direttamente. Il codice è pubblico con una licenza che consente l'uso commerciale, e DeepSeek presenta la pubblicazione come un modo per ridurre costi ed energia per ogni risposta. Non si tratta però di un servizio chiavi in mano. Il framework supporta un solo modello, DeepSeek-V4.1-Flash, e carica di default la sua versione 1017, mentre il team che lo implementa deve costruire l'infrastruttura di servizio che lo circonda. DeepSeek ha dichiarato che il codice di inferenza dei modelli futuri confluirà nello stesso repository, senza indicare una data per quei rilasci.