A DeepSeek abre o código do DeepInfer, o seu motor de inferência

A 20 de outubro, a DeepSeek colocou à vista de todos parte da maquinaria que responde aos seus próprios utilizadores. O DeepInfer, a framework de inferência por trás dos seus serviços de modelos em grande escala, está agora no GitHub sob a licença Apache 2.0, disponível para transferir, ler e modificar sem custos. A inferência é a fase em que um modelo treinado produz as suas respostas, e cada palavra que escreve exige um novo cálculo; à escala, é aqui que se concentra grande parte do custo e da eletricidade de executar IA.

O DeepInfer funciona em duas famílias de chips. As GPU Blackwell da Nvidia, designadas SM100, podem executá-lo, tal como as unidades de processamento neuronal Ascend 950 da Huawei. O suporte Ascend segue uma publicação de 30 de setembro, em que a DeepSeek levou para os processadores da Huawei a linguagem de programação de kernels TileLang, uma ferramenta para escrever o código de baixo nível que os chips executam. A framework usa também a decodificação especulativa: um passo barato propõe palavras candidatas, e o modelo principal verifica-as numa só passagem, pelo que várias palavras podem ser aceites de uma vez, em vez de uma a uma. Segundo a SiliconANGLE, uma atualização recente reduz em cerca de 30 % o número de tokens de rascunho verificados por passo. O README indica o vLLM, um projeto de código aberto de disponibilização de modelos, como base original.

Os resultados de desempenho são da própria empresa e continuam sujeitos a dúvidas. A DeepSeek estima um ganho de débito de 4 % a 7 % na sua carga de produção, e o seu próprio documento indica que um cluster serve 155 biliões de tokens por dia. Um relatório de terceiros aponta para uma velocidade de geração de 230 tokens por segundo, e até 300 tokens por segundo em tarefas de programação. Um guia independente chama a atenção para ressalvas nos testes de referência, e uma análise observa que o valor de decodificação assume uma taxa fixa de aceitação dos rascunhos de 75 %, em vez de a medir. Algumas funcionalidades dependem também do hardware: a inferência invariante ao lote e a amostragem determinística funcionam apenas em hardware Nvidia. A framework exige Linux, GCC 13.0 ou posterior, Python 3.12, e CUDA 13 na Nvidia ou CANN 9.2 na Ascend.

Para uma equipa que já executa os modelos da DeepSeek nas suas próprias máquinas, o código pode ser lido e testado diretamente. O código é público, sob uma licença que permite utilização comercial, e a DeepSeek apresenta a publicação como uma forma de reduzir o custo e a energia por resposta. Não é, porém, um serviço pronto a usar. A framework suporta um único modelo, o DeepSeek-V4.1-Flash, e carrega por defeito a sua versão 1017, e a equipa que o implementa tem de construir a pilha de disponibilização que o rodeia. A DeepSeek disse que o código de inferência de modelos futuros será colocado no mesmo repositório, sem indicar uma data para esses lançamentos.