AitopkitDeepSeek a annoncé le 20 octobre 2026 avoir publié DeepInfer, son framework d'inférence maison, sous la très permissive licence Apache 2.0. Selon l'entreprise, DeepInfer fait tourner en production son modèle phare DeepSeek-V4.1-Flash « avec un débit élevé et une faible latence », et ce partage de sa pile de production vise à aider la communauté à réduire les coûts de calcul, la consommation d'énergie, et à rendre l'IA plus abordable.
Le dépôt comprend le planificateur, les noyaux optimisés et le pipeline de tokens qui alimentent l'infrastructure de serving de DeepSeek : inférence distribuée avec Attention DP, parallélisme de contexte et parallélisme d'experts MoE, planificateur de lots sans surcoût, sorties structurées et vérification planifiée par confiance. Il ne supporte pour l'instant qu'un seul modèle — DeepSeek-V4.1-Flash — et fonctionne sur les GPU NVIDIA SM100 (Blackwell) et les NPU Huawei Ascend 950. Le README cite vLLM comme base principale, avec des inspirations de SGLang et TensorRT-LLM, et DeepSeek a également publié deepseek-recipe, son composant de production pour l'encodage et le décodage des tokens.
À noter ce qui n'est pas inclus : le système de cache KV, la désagrégation prefill/decode et l'équilibrage de charge entre les répliques sont laissés de côté — DeepSeek explique qu'ils sont étroitement liés à son infrastructure interne. Il s'agit d'un logiciel d'inférence hors ligne, pas d'un produit de serving géré clé en main — et tous les chiffres de performance publiés sont pour l'instant les propres benchmarks de DeepSeek. Cela dit, le symbole est fort : un laboratoire basé à Hangzhou offre le type même de code de serving en production qu'OpenAI et Anthropic gardent dans leurs propres centres de données. La publication est intervenue un jour après que le Département américain de la Sécurité intérieure a publié un ordre barrant les technologies DeepSeek des systèmes fédéraux civils, et elle est rapidement devenue l'un des fils développeurs les plus commentés de la journée sur Hacker News.