DeepSeek ouvre DeepInfer, son moteur d'inférence

Ce qui se passe

DeepSeek publie DeepInfer, qu'il décrit comme le moteur d'inférence à haute performance qui fait tourner ses services à grande échelle, sous licence Apache 2.0. Cette première version couvre l'inférence hors ligne d'un seul modèle, DeepSeek-V4.1-Flash. Le dépôt dit avoir été construit d'abord sur vLLM, avec des idées de SGLang et de TensorRT-LLM.

Ce qu'il contient

Les noyaux que DeepSeek publie déjà séparément (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect), du parallélisme sur les experts MoE et un ordonnanceur asynchrone, activé par défaut.
Un décodage par jetons brouillons vérifiés (DEEPINFER_ENABLE_MTP_VARLEN=1, longueur maximale DEEPINFER_USE_NEXTN_DECODE, 5 par défaut).
Pour la reproductibilité, sur NVIDIA seulement : l'inférence invariante au lot (DEEPINFER_BATCH_INVARIANT=1), où le résultat ne dépend pas des requêtes voisines, et l'échantillonnage déterministe (le même réglage, avec DEEPINFER_ENABLE_MTP_VARLEN=0 et un seq_seed fixe dans SamplingParams).
Des sorties contraintes par une regex, un schéma JSON ou une grammaire EBNF, via so_args.

Ce qu'il faut pour l'essayer

Matériel : GPU NVIDIA SM100 ou NPU Huawei Ascend 950. SM100 est la génération Blackwell des centres de données : pas un portable, pas une carte grand public.
Logiciel : Linux, GCC 13 ou plus, Python 3.12, CUDA 13 (NVIDIA) ou CANN 9.2 (Ascend).

Terminal

export DEEPINFER_ACCELERATOR=nvidia   # ascend pour les NPU Huawei
./build.sh
python examples/offline_inference.py

Le point de contrôle par défaut est deepseek-ai/DeepSeek-V4.1-Flash-1017, téléchargé dans le cache Hugging Face au premier lancement ; DEEPINFER_HF_MODEL_DIR pointe vers une copie locale.

Les limites

Ce n'est pas un service complet. Le dépôt cite ce qui manque : un cache KV, la séparation préremplissage / décodage (en grande partie implémentée) et la répartition de charge entre répliques. Les courbes de débit viennent de 4 GPU SM100 pour le préremplissage et de 64 pour le décodage. Sur une machine ordinaire, rien à lancer : l'intérêt est de lire le code pour voir comment un opérateur de cette taille règle l'invariance au lot et le déterminisme, puis de comparer avec ses réglages vLLM.

Source : DeepSeek, dépôt DeepInfer, 20 octobre 2026. Source en anglais.