DeepSeek ouvre DeepInfer, son moteur d'inférence en production

Le 20 octobre, DeepSeek a mis en accès libre une partie de la mécanique qui répond à ses propres utilisateurs. DeepInfer, le framework d'inférence qui sous-tend ses services de modèles à grande échelle, est désormais disponible sur GitHub sous licence Apache 2.0, téléchargeable, lisible et modifiable librement. L'inférence est l'étape où un modèle entraîné produit ses réponses, et chaque mot qu'il écrit demande un nouveau calcul : à grande échelle, c'est là que se concentre une grande part du coût et de l'électricité de l'IA.

DeepInfer fonctionne sur deux familles de puces. Les GPU Blackwell de Nvidia, désignés SM100, peuvent l'exécuter, tout comme les unités de traitement neuronal Ascend 950 de Huawei. Le support Ascend fait suite à une version publiée le 30 septembre, dans laquelle DeepSeek a porté sur les processeurs de Huawei TileLang, un langage de programmation de noyaux qui permet d'écrire le code bas niveau exécuté par les puces. Le framework utilise aussi le décodage spéculatif : une étape peu coûteuse propose des mots candidats, et le modèle principal les vérifie en une seule passe, si bien que plusieurs mots peuvent être acceptés à la fois au lieu d'un seul. Selon SiliconANGLE, une mise à jour récente réduit d'environ 30 % le nombre de tokens de brouillon vérifiés à chaque étape. Le README cite vLLM, un projet open source de service de modèles, comme fondation d'origine.

Les performances annoncées viennent de l'entreprise elle-même et restent discutables. DeepSeek estime à 4 % à 7 % le gain de débit sous sa charge de production, et son propre document indique qu'un cluster traite 155 billions de tokens par jour. Un rapport tiers donne une vitesse de génération de 230 tokens par seconde, et jusqu'à 300 tokens par seconde pour les tâches de programmation. Un guide indépendant pointe des réserves sur les benchmarks, et une analyse observe que le chiffre de décodage suppose un taux d'acceptation fixe de 75 % pour les brouillons, au lieu de le mesurer. Certaines fonctions dépendent aussi du matériel : l'inférence invariante au lot et l'échantillonnage déterministe ne fonctionnent que sur le matériel Nvidia. Le framework exige Linux, GCC 13.0 ou version ultérieure, Python 3.12, et soit CUDA 13 sur Nvidia, soit CANN 9.2 sur Ascend.

Pour une équipe qui fait déjà tourner les modèles de DeepSeek sur ses propres machines, le code peut être lu et testé directement. Il est public sous une licence qui autorise l'usage commercial, et DeepSeek présente cette publication comme un moyen de réduire le coût et l'énergie par réponse. Ce n'est toutefois pas un service clé en main. Le framework ne prend en charge qu'un seul modèle, DeepSeek-V4.1-Flash, et charge par défaut sa version 1017 ; l'équipe qui le déploie doit construire elle-même la couche de service qui l'entoure. DeepSeek a indiqué que le code d'inférence des futurs modèles sera ajouté au même dépôt, sans donner de date pour ces publications.