DeepSeek libera en código abierto DeepInfer, su motor de inferencia

El 20 de octubre, DeepSeek puso a disposición pública una parte del mecanismo que responde a sus propios usuarios. DeepInfer, el framework de inferencia que sustenta sus servicios de modelos a gran escala, ya está disponible en GitHub con licencia Apache 2.0, de forma gratuita para descargarlo, leerlo y modificarlo. La inferencia es la fase en la que un modelo entrenado produce sus respuestas, y cada palabra que escribe supone un cálculo nuevo, de modo que, a gran escala, ahí se concentra buena parte del coste y del consumo eléctrico de operar la IA.

DeepInfer funciona con dos familias de chips. Las GPU Blackwell de Nvidia, identificadas como SM100, pueden ejecutarlo, al igual que las unidades de procesamiento neuronal (NPU) Ascend 950 de Huawei. El soporte para Ascend llega después de una publicación del 30 de septiembre, en la que DeepSeek llevó a los procesadores de Huawei el lenguaje de programación de kernels TileLang, una herramienta para escribir el código de bajo nivel que ejecutan los chips. El framework también emplea la decodificación especulativa: un paso ligero propone palabras candidatas y el modelo principal las verifica en una sola pasada, de modo que se pueden aceptar varias palabras a la vez en lugar de una cada vez. Según SiliconANGLE, una actualización reciente reduce en torno a un 30 % el número de tokens borrador verificados en cada paso. El README cita a vLLM, un proyecto de servicio de código abierto, como base original.

Las cifras de rendimiento son de la propia compañía y todavía admiten matices. DeepSeek calcula una mejora de rendimiento de entre un 4 % y un 7 % con su carga de producción, y en su propio documento indica que un clúster sirve 155 billones de tokens al día. Un informe de terceros recoge una velocidad de generación de 230 tokens por segundo, y de hasta 300 tokens por segundo en tareas de programación. Una guía de campo independiente apunta a matices en los benchmarks, y un análisis observa que la cifra de decodificación supone una tasa fija de aceptación de borradores del 75 % en lugar de medirla. Algunas funciones además dependen del hardware: la inferencia invariante por lotes y el muestreo determinista solo funcionan en equipos de Nvidia. El framework requiere Linux, GCC 13.0 o posterior, Python 3.12 y, según el caso, CUDA 13 en Nvidia o CANN 9.2 en Ascend.

Para un equipo que ya ejecuta los modelos de DeepSeek en sus propias máquinas, el código puede leerse y probarse directamente. Está publicado con una licencia que permite el uso comercial, y DeepSeek presenta la publicación como una forma de reducir el coste y la energía por respuesta. Sin embargo, no es un servicio listo para usar. El framework admite un único modelo, DeepSeek-V4.1-Flash, y carga por defecto su versión 1017, y el equipo que lo despliegue debe construir por su cuenta el resto de la pila de servicio. DeepSeek ha dicho que el código de inferencia de los modelos futuros se publicará en el mismo repositorio, sin dar una fecha para esas versiones.