Loading...

文章背景图

open-infra-index:DeepSeek 开源基础设施仓库索引与资源导航

2026-10-27
0
- 字
- 分钟
|

open-infra-index:DeepSeek 开源基础设施仓库索引与资源导航

open-infra-index 是 DeepSeek 官方维护的开源基础设施索引仓库,集中收录 DeepSeek 在 2025 年 2 月「开源周」集中放出的一系列生产级基础设施组件,以及配套的 ISCA25 / SC24 论文,是梳理 DeepSeek 技术栈与选型的一手索引。

一、项目官方信息

项目 信息
GitHub 仓库 https://github.com/deepseek-ai/open-infra-index
开源协议 CC0-1.0
主要语言 文档/索引类(无主代码语言)
Star 数 8.1k+
关联论文 ISCA25、SC24

二、官方图片

open-infra-index 仓库社交预览图:

open-infra-index

三、环境要求

本项目为索引/文档类仓库,无需编译运行;浏览器打开 GitHub 仓库页面即可阅读各组件链接与论文。

四、开源周仓库清单

DeepSeek 在 2025 年 2 月 24 日起连续开源 5 个仓库,均为在线服务中经过生产验证的组件:

Day 1 — FlashMLA

Hopper GPU 上高效的 MLA 解码 kernel,针对变长序列优化,支持 BF16、Paged KV cache(块大小 64),H800 上内存受限约 3000 GB/s、计算受限 BF16 约 580 TFLOPS。 仓库:https://github.com/deepseek-ai/FlashMLA

Day 2 — DeepEP

首个开源的 MoE 训练/推理 EP 通信库,支持节点内 NVLink 与节点间 RDMA,提供高吞吐(训练/prefill)与低延迟(decoding)kernel,原生 FP8 dispatch。 仓库:https://github.com/deepseek-ai/DeepEP

Day 3 — DeepGEMM

FP8 GEMM 库,同时支持 dense 与 MoE GEMM,驱动 V3/R1 的训练与推理;Hopper 上 FP8 最高 1350+ TFLOPS,核心逻辑约 300 行,全 JIT 编译。 仓库:https://github.com/deepseek-ai/DeepGEMM

Day 4 — 并行策略优化

  • DualPipe:双向流水线并行算法,用于 V3/R1 训练的计算-通信重叠;
  • EPLB:V3/R1 的专家并行负载均衡器;
  • profile-data:分析 V3/R1 计算-通信重叠的生产数据。

Day 5 — 3FS 与 smallpond

  • 3FS(Fire-Flyer File System):并行文件系统,充分利用现代 SSD 与 RDMA 带宽,180 节点集群聚合读吞吐 6.6 TiB/s,GraySort 25 节点集群 3.66 TiB/min;
  • smallpond:构建在 3FS 上的数据处理框架。

五、配套论文与选型建议

ISCA25 论文

《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures》(arXiv:2505.09343)——从 V3 训练成本剖析硬件设计。

SC24 论文

《Fire-Flyer AI-HPC: A Cost-Effective Software-Hardware Co-Design for Deep Learning》(arXiv:2408.14158)。

选型建议

  • 做 MoE 训练/推理通信优化 → DeepEP;
  • 做 FP8 GEMM kernel 集成 → DeepGEMM;
  • 做 MLA 解码加速 → FlashMLA;
  • 搭大规模数据/检查点存储 → 3FS + smallpond;
  • 研究并行策略 → DualPipe / EPLB。

六、常见问题 FAQ

Q1:open-infra-index 是什么? DeepSeek 官方开源基础设施索引,集中收录开源周放出的组件与配套论文。

Q2:需要编译吗? 不需要,它是文档/索引类仓库,阅读链接即可。

Q3:开源周放了哪些核心仓库? FlashMLA、DeepEP、DeepGEMM、DualPipe/EPLB、3FS/smallpond。

Q4:3FS 的性能指标? 180 节点聚合读 6.6 TiB/s,GraySort 25 节点 3.66 TiB/min。

Q5:有哪些论文可读? ISCA25(V3 扩展挑战)与 SC24(Fire-Flyer AI-HPC 软硬协同)。

Q6:按场景怎么选? 通信选 DeepEP、GEMM 选 DeepGEMM、MLA 解码选 FlashMLA、存储选 3FS。

七、跳转链接

评论交流

文章目录