open-infra-index:DeepSeek 开源基础设施仓库索引与资源导航
open-infra-index 是 DeepSeek 官方维护的开源基础设施索引仓库,集中收录 DeepSeek 在 2025 年 2 月「开源周」集中放出的一系列生产级基础设施组件,以及配套的 ISCA25 / SC24 论文,是梳理 DeepSeek 技术栈与选型的一手索引。
一、项目官方信息
| 项目 | 信息 |
|---|---|
| GitHub 仓库 | https://github.com/deepseek-ai/open-infra-index |
| 开源协议 | CC0-1.0 |
| 主要语言 | 文档/索引类(无主代码语言) |
| Star 数 | 8.1k+ |
| 关联论文 | ISCA25、SC24 |
二、官方图片
open-infra-index 仓库社交预览图:
三、环境要求
本项目为索引/文档类仓库,无需编译运行;浏览器打开 GitHub 仓库页面即可阅读各组件链接与论文。
四、开源周仓库清单
DeepSeek 在 2025 年 2 月 24 日起连续开源 5 个仓库,均为在线服务中经过生产验证的组件:
Day 1 — FlashMLA
Hopper GPU 上高效的 MLA 解码 kernel,针对变长序列优化,支持 BF16、Paged KV cache(块大小 64),H800 上内存受限约 3000 GB/s、计算受限 BF16 约 580 TFLOPS。 仓库:https://github.com/deepseek-ai/FlashMLA
Day 2 — DeepEP
首个开源的 MoE 训练/推理 EP 通信库,支持节点内 NVLink 与节点间 RDMA,提供高吞吐(训练/prefill)与低延迟(decoding)kernel,原生 FP8 dispatch。 仓库:https://github.com/deepseek-ai/DeepEP
Day 3 — DeepGEMM
FP8 GEMM 库,同时支持 dense 与 MoE GEMM,驱动 V3/R1 的训练与推理;Hopper 上 FP8 最高 1350+ TFLOPS,核心逻辑约 300 行,全 JIT 编译。 仓库:https://github.com/deepseek-ai/DeepGEMM
Day 4 — 并行策略优化
- DualPipe:双向流水线并行算法,用于 V3/R1 训练的计算-通信重叠;
- EPLB:V3/R1 的专家并行负载均衡器;
- profile-data:分析 V3/R1 计算-通信重叠的生产数据。
Day 5 — 3FS 与 smallpond
- 3FS(Fire-Flyer File System):并行文件系统,充分利用现代 SSD 与 RDMA 带宽,180 节点集群聚合读吞吐 6.6 TiB/s,GraySort 25 节点集群 3.66 TiB/min;
- smallpond:构建在 3FS 上的数据处理框架。
五、配套论文与选型建议
ISCA25 论文
《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures》(arXiv:2505.09343)——从 V3 训练成本剖析硬件设计。
SC24 论文
《Fire-Flyer AI-HPC: A Cost-Effective Software-Hardware Co-Design for Deep Learning》(arXiv:2408.14158)。
选型建议
- 做 MoE 训练/推理通信优化 → DeepEP;
- 做 FP8 GEMM kernel 集成 → DeepGEMM;
- 做 MLA 解码加速 → FlashMLA;
- 搭大规模数据/检查点存储 → 3FS + smallpond;
- 研究并行策略 → DualPipe / EPLB。
六、常见问题 FAQ
Q1:open-infra-index 是什么? DeepSeek 官方开源基础设施索引,集中收录开源周放出的组件与配套论文。
Q2:需要编译吗? 不需要,它是文档/索引类仓库,阅读链接即可。
Q3:开源周放了哪些核心仓库? FlashMLA、DeepEP、DeepGEMM、DualPipe/EPLB、3FS/smallpond。
Q4:3FS 的性能指标? 180 节点聚合读 6.6 TiB/s,GraySort 25 节点 3.66 TiB/min。
Q5:有哪些论文可读? ISCA25(V3 扩展挑战)与 SC24(Fire-Flyer AI-HPC 软硬协同)。
Q6:按场景怎么选? 通信选 DeepEP、GEMM 选 DeepGEMM、MLA 解码选 FlashMLA、存储选 3FS。
七、跳转链接
- GitHub 仓库:https://github.com/deepseek-ai/open-infra-index
- DeepSeek 官网:https://www.deepseek.com
- ISCA25 论文:https://arxiv.org/abs/2505.09343