DeepSeek 全面开源推理框架 DeepInfer，单集群日吞吐 155 万亿 Token

10 月 20 日，DeepSeek 宣布将内部大规模云服务推理框架 DeepInfer 全面开源，并同步开放生产级 Token 编解码组件 deepseek-recipe，后者与官方 API 的处理逻辑完全对齐。此前该公司已开源多款模型权重、TileLang 编译工具及算子库，此次把商业闭环中最关键的一层系统软件也放了出去。

DeepInfer 集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码与结构化输出等能力，兼容英伟达与华为昇腾两类平台。据披露，基于该框架已实现 V4.1 Flash 的高吞吐、低延迟服务，单一集群日吞吐达 155 万亿 Token，按谷价整体收入为每卡每小时 38 美元。官方称开源旨在帮助开发者优化大规模推理的吞吐与延迟，降低算力成本与能耗，推动私有化与公有云部署。

【AICOR 点评】推理框架是 MaaS 厂商最核心的成本壁垒，DeepSeek 把它开源，等于把「模型即服务」的定价逻辑推倒重来。对企业用户而言，云厂商间的大模型部署成本将快速收敛，选型重点从「哪家便宜」转向「哪家调度与工程能力更强」。开源到基础设施层，也让「禁令管不住权重」成为现实——开源正在成为地缘约束下最具韧性的路线。