Qwen：阿里通义开源大模型系列（Qwen2.5 / Qwen3）权重与推理部署指南

仓库：https://github.com/QwenLM/Qwen2.5 官方文档：https://qwen.readthedocs.io/ 许可证：模型权重 LICENSE 各仓为准 运行形态：权重 + 推理框架（Transformers / vLLM / SGLang / Ollama / llama.cpp）

1. 项目简介

Qwen（通义千问）是阿里巴巴开源的大模型系列。Qwen2.5 发布于 2024-09，在 Qwen2 基础上增加 3B / 14B / 32B 等尺寸；其后继 Qwen3（2025-04）与 Qwen3-2507（2025-07）进一步支持 thinking / non-thinking 无缝切换、256K（可扩展到 100 万 token）长上下文。仓库 README 现以 Qwen3 为主线。

1.1 核心信息一览

1.2 适用场景

• 想本地 / 私有化部署中文能力强的开源大模型；
• 需要 dense 与 MoE 多种尺寸选型；
• 想在 vLLM / SGLang / TGI 上做大规模推理服务。

1.3 能力边界（官方口径）

• 仓库只提供权重与示例，不提供托管服务；
• 推理框架版本有要求（transformers>=4.51.0）；
• 长上下文百万 token 需按对应 modelcard 说明开启。

2. 功能特性

• 多尺寸：dense 0.6B/1.7B/4B/8B/14B/32B，MoE 30B-A3B / 235B-A22B；
• thinking / non-thinking 切换：复杂推理用 thinking，通用对话用 non-thinking；
• 多语言：100+ 语言与方言；
• Agent 能力：工具调用集成；
• 文档覆盖：Quickstart、Inference、Run Locally、Deployment、Quantization、Training、Framework；
• 量化：GPTQ、AWQ、GGUF 指导。

3. 官方界面预览

上图为官方 README logo（README 官方素材）。

4. 官方跳转链接汇总

• 仓库主页：https://github.com/QwenLM/Qwen2.5
• 文档：https://qwen.readthedocs.io/
• Hugging Face：https://huggingface.co/Qwen
• ModelScope：https://modelscope.cn/organization/qwen
• Qwen3 合集：https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
• Qwen Chat：https://chat.qwen.ai/
• 博客：https://qwenlm.github.io/blog/qwen3/
• 论文：https://arxiv.org/abs/2505.09388

5. 前置要求与服务器配置

• Python 环境，transformers>=4.51.0；
• GPU 按模型尺寸准备（显存需求见官方 speed_benchmark 文档）；
• 本地运行可选 llama.cpp、Ollama、LM Studio；
• 大规模部署用 SGLang、vLLM、TGI。

6. 方式一：Transformers 推理（推荐上手）

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen3-30B-A3B-Instruct-2507"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

7. 方式二：本地与服务化运行

# 本地：llama.cpp / Ollama / LM Studio（见文档 Run Locally）
# 服务化：vLLM / SGLang / TGI（见文档 Deployment）

训练 / 微调可用 Axolotl、LLaMA-Factory 等框架（见文档 Training）。

8. 配置项说明

9. 常用运维命令

# 升级 transformers
pip install -U "transformers>=4.51.0"

# 看显存与吞吐基准
# https://qwen.readthedocs.io/en/latest/getting_started/speed_benchmark.html

10. 常见故障排查

• 版本过低：确保 transformers>=4.51.0；
• 显存不足：选小尺寸或用量化（GPTQ/AWQ/GGUF）；
• 长上下文报错：按 modelcard 说明开启扩展；
• 模型下载慢：可走 ModelScope 镜像。

11. 风险与合规说明

• 模型权重许可以各自 modelcard 为准；
• 商用前确认对应模型 LICENSE；
• GPU 成本由使用者承担；
• 本文为社区部署笔记，命令以官方文档最新版本为准。