Loading...

文章背景图

DeepSeek-R1:推理模型本地部署与蒸馏小模型指南

2026-10-27
0
- 字
- 分钟
|

DeepSeek-R1 是 DeepSeek 第一代推理模型系列,包含 R1-Zero(纯 RL、无 SFT 冷启动)与 R1(含冷启动数据)。R1 在数学、代码、推理任务上对标 OpenAI o1;同时开源了基于 Qwen2.5 与 Llama3 蒸馏的 6 个稠密小模型(1.5B/7B/8B/14B/32B/70B)。

一、项目官方信息

项目 信息
GitHub 仓库 https://github.com/deepseek-ai/DeepSeek-R1
官方网站 https://www.deepseek.com
在线对话 https://chat.deepseek.com(开启 DeepThink)
Hugging Face https://huggingface.co/deepseek-ai
论文 https://arxiv.org/abs/2501.12948
开源协议 MIT(模型与代码,支持商用与蒸馏)
主要语言 Python(约 100%)
Star 数 约 92k

二、官方图片

DeepSeek-R1 与 Claude-3.5、GPT-4o、o1 等在推理基准上的对比:

DeepSeek-R1 基准对比

三、环境要求

  • 671B MoE 版本:同 V3,多卡 H800/A100,BF16/FP8 专用框架。
  • 蒸馏小模型:1.5B/7B/8B 单卡可跑;14B/32B 需 24GB+ 显卡;70B 需多卡。
  • 推理框架:vLLM、SGLang;Transformers 未直接支持 R1 主模型。
  • 蒸馏模型可直接当 Qwen/Llama 用。

四、完整部署步骤

1. 选择模型

主模型(671B):

蒸馏小模型:

模型 基座
R1-Distill-Qwen-1.5B Qwen2.5-Math-1.5B
R1-Distill-Qwen-7B Qwen2.5-Math-7B
R1-Distill-Llama-8B Llama-3.1-8B
R1-Distill-Qwen-14B Qwen2.5-14B
R1-Distill-Qwen-32B Qwen2.5-32B
R1-Distill-Llama-70B Llama-3.3-70B-Instruct

2. 主模型部署

671B 版本与 DeepSeek-V3 共用部署方式,详见 V3 仓库:https://github.com/deepseek-ai/DeepSeek-V3 。

3. 蒸馏模型用 vLLM 启动

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --tensor-parallel-size 2 \
  --max-model-len 32768 \
  --enforce-eager

4. 蒸馏模型用 SGLang 启动

python3 -m sglang.launch_server \
  --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --trust-remote-code --tp 2

5. 用 Ollama 拉取

ollama pull deepseek-r1:7b

(Ollama 已支持 R1 系列)

五、使用方法

官方使用建议(重要)

  1. temperature 设 0.5–0.7(推荐 0.6),避免无限重复或输出混乱;
  2. 不要加 system prompt,所有指令写在 user prompt 里;
  3. 数学题在 prompt 里加:"Please reason step by step, and put your final answer within \boxed{}.";
  4. 评估时多次测试取平均;
  5. 强制模型以 <think>\n 开头,避免跳过思维链。

在线 API

DeepSeek 平台提供 OpenAI 兼容 API:https://platform.deepseek.com ,网页/App 开启 "DeepThink"。

关键性能

  • MATH-500 97.3、AIME 2024 79.8、LiveCodeBench 65.9;
  • 蒸馏 R1-Distill-Qwen-32B 在 AIME 2024 达 72.6,超过 o1-mini。

六、常见问题 FAQ

1. 输出一直重复? temperature 调到 0.6;强制以 <think> 开头。

2. 加了 system prompt 效果差? 官方建议不加,把所有指令放 user prompt。

3. 主模型能用 Transformers 直接加载吗? README 明确未直接支持,用 V3 同款推理框架。

4. 蒸馏模型版权? Qwen 系列蒸馏基于 Apache-2.0;Llama 蒸馏基于 Llama 许可;整体 MIT,允许商用与二次蒸馏。

5. R1-Zero 与 R1 区别? R1-Zero 纯 RL 训练,可读性差、语言混合;R1 加了冷启动数据,更易读。

6. 上下文多长? 128K。

七、跳转链接

评论交流

文章目录