Le due versioni sono allineate blocco per blocco, nell’ordine del testo: titolo, l’essenziale, poi paragrafo per paragrafo. Quando la traduzione ha fuso o diviso un paragrafo, la casella corrispondente resta vuota — non accostiamo mai due passaggi a occhio.
On October 20, DeepSeek put part of the machinery that answers its own users into the open. DeepInfer, the inference framework behind its large-scale model services, is now on GitHub under the Apache 2.0 licence, free to download, read and modify. Inference is the stage where a trained model produces its answers, and each word it writes takes a fresh computation, so at scale this is where much of the cost and electricity of running AI goes.
Il 20 ottobre DeepSeek ha messo a disposizione una parte del motore che risponde ai propri utenti. DeepInfer, il framework di inferenza alla base dei suoi servizi di modelli su larga scala, è ora disponibile su GitHub con licenza Apache 2.0, libero da scaricare, leggere e modificare. L'inferenza è la fase in cui un modello addestrato produce le sue risposte, e ogni parola che scrive richiede un nuovo calcolo: su larga scala è qui che se ne va gran parte del costo e dell'elettricità necessari a far funzionare l'IA.
DeepInfer runs on two families of chips. Nvidia's Blackwell GPUs, designated SM100, can run it, as can the Ascend 950 neural processing units from Huawei. Its Ascend support follows a 30 September release in which DeepSeek brought the TileLang kernel programming language, a tool for writing the low-level code that chips execute, to Huawei's processors. The framework also uses speculative decoding: a cheap step proposes candidate words, and the main model checks them in a single pass, so several words can be accepted at once instead of one at a time. According to SiliconANGLE, a recent update trims the number of draft tokens checked per step by about 30%. The README names vLLM, an open-source serving project, as its original foundation.
DeepInfer funziona su due famiglie di chip. Le GPU Blackwell di Nvidia, designate SM100, possono eseguirlo, così come le unità di elaborazione neurale Ascend 950 di Huawei. Il supporto Ascend segue una versione del 30 settembre, in cui DeepSeek ha portato sui processori Huawei TileLang, un linguaggio di programmazione per kernel, uno strumento per scrivere il codice di basso livello che i chip eseguono. Il framework usa anche la decodifica speculativa: un passaggio poco costoso propone parole candidate e il modello principale le verifica in un unico passaggio, così che più parole possano essere accettate in una volta invece di una alla volta. Secondo SiliconANGLE, un aggiornamento recente riduce di circa il 30% il numero di token di bozza verificati a ogni passaggio. Il README indica come base originaria vLLM, progetto open source di serving.
The performance claims are the company's own and still open to question. DeepSeek estimates a 4% to 7% throughput gain at its production load, and its own document reports that one cluster serves 155 trillion tokens a day. A third-party report gives a generation speed of 230 tokens per second, up to 300 tokens per second for coding tasks. An independent field guide points to benchmark caveats, and one analysis observes that the decode figure assumes a fixed 75% draft acceptance rate rather than measuring it. Some features also depend on hardware: batch-invariant inference and deterministic sampling work on Nvidia hardware only. The framework requires Linux, GCC 13.0 or later, Python 3.12, and either CUDA 13 on Nvidia or CANN 9.2 on Ascend.
Le prestazioni dichiarate sono quelle dell'azienda e restano discutibili. DeepSeek stima un guadagno di throughput dal 4% al 7% con il suo carico di produzione, e il suo stesso documento riferisce che un cluster serve 155 mila miliardi di token al giorno. Un rapporto di terzi indica una velocità di generazione di 230 token al secondo, fino a 300 token al secondo per le attività di programmazione. Una guida indipendente sul campo richiama l'attenzione sui limiti dei test di riferimento, e un'analisi osserva che la cifra sulla decodifica presuppone un tasso fisso di accettazione delle bozze del 75%, invece di misurarlo. Alcune funzioni dipendono anche dall'hardware: l'inferenza invariante rispetto al batch e il campionamento deterministico funzionano solo su hardware Nvidia. Il framework richiede Linux, GCC 13.0 o successivo, Python 3.12, e CUDA 13 su Nvidia oppure CANN 9.2 su Ascend.
For a team that already runs DeepSeek's models on its own machines, the code can be read and tested directly. The code is public under a licence that allows commercial use, and DeepSeek presents the release as a way to cut cost and energy per answer. It is not a turnkey service, though. The framework supports a single model, DeepSeek-V4.1-Flash, and loads its 1017 version by default, and the team deploying it must build the surrounding serving stack. DeepSeek has said that inference code for future models will go into the same repository, without giving a date for those releases.
Per un team che già fa girare i modelli DeepSeek sulle proprie macchine, il codice può essere letto e testato direttamente. Il codice è pubblico con una licenza che consente l'uso commerciale, e DeepSeek presenta la pubblicazione come un modo per ridurre costi ed energia per ogni risposta. Non si tratta però di un servizio chiavi in mano. Il framework supporta un solo modello, DeepSeek-V4.1-Flash, e carica di default la sua versione 1017, mentre il team che lo implementa deve costruire l'infrastruttura di servizio che lo circonda. DeepSeek ha dichiarato che il codice di inferenza dei modelli futuri confluirà nello stesso repository, senza indicare una data per quei rilasci.