这个工具是做什么的
DeepInfer 是 DeepSeek 开源的离线推理框架，支撑其生产服务的大规模推理核心，GitHub 约 2.3 万 star、Apache-2.0。它面向 DeepSeek-V4.1-Flash，提供并行调度、DSpark 投机验证、结构化输出、确定性采样与批量不变量；README 的基准使用 4 张 NVIDIA SM100 做预填充、64 张做解码，也支持昇腾 950。它要求 Linux、Python 3.12 和 CUDA 13 / CANN 9.2，不是普通家用显卡可随手运行的工具。
基本信息
- 分类：本地部署
- 厂商 / 团队：DeepSeek
- 价格：免费（Apache-2.0）
- 收录日期：2026-10-26
- 官网：github.com
适用场景
DeepSeek · 推理框架 · NVIDIA SM100 · 昇腾 950 · Apache-2.0