GLM-4：智谱开源大模型部署与推理指南

本文基于官方仓库 zai-org/GLM-4 的 README 完整整理翻译。当前 README 以 GLM-4-0414 系列（GLM-4-32B-0414、GLM-Z1-32B-0414、GLM-Z1-Rumination-32B-0414、GLM-Z1-9B-0414）为主体，并保留了 2024 年 6 月发布的 GLM-4-9B 系列模型列表，所有模型名、参数、评测数字与命令均与官方 README 一致。

一、项目官方信息

二、项目背景与模型介绍

GLM 家族迎来新一代开源模型 GLM-4-32B-0414 系列，320 亿参数，效果比肩 OpenAI 的 GPT 系列和 DeepSeek 的 V3/R1 系列，并且具备非常友好的本地部署特性。GLM-4-32B-Base-0414 经过 15T（15 万亿）高质量数据预训练，其中包含大量推理类合成数据，为后续的强化学习扩展打下了基础。在后训练阶段，团队除了针对对话场景做人类偏好对齐外，还通过拒绝采样和强化学习等技术强化了模型在指令遵循、工程代码、函数调用方面的效果，加强了智能体任务所需的原子能力。GLM-4-32B-0414 在工程代码、Artifacts 生成、函数调用、搜索问答及报告等方面都取得了不错的效果，部分 Benchmark 甚至可以媲美更大规模的 GPT-4o、DeepSeek-V3-0324（671B）等模型。所谓 Artifacts 生成，是指模型能够一次性产出可直接运行的网页、动画、SVG 等完整前端产物，这也是 README 效果展示章节重点演示的能力。

GLM-Z1-32B-0414 是在 GLM-4-32B-0414 基础上经过冷启动和扩展强化学习得到的：先通过小规模高质量推理数据完成冷启动，再在数学、代码、逻辑等任务上做大规模强化学习扩展，因此相对基础模型显著提升了数理能力和解决复杂任务的能力。训练过程中还引入了基于对战排序反馈的通用强化学习（即让模型两两对战、以胜负排序作为奖励信号），进一步增强了模型的通用能力，而不仅局限于数学代码场景。

GLM-Z1-Rumination-32B-0414 是具有沉思能力的深度推理模型（对标 OpenAI 的 Deep Research）。不同于一般的深度思考模型，沉思模型通过更长时间的深度思考来解决更开放、更复杂的问题（例如撰写两个城市 AI 发展对比情况以及未来发展规划）；它在深度思考过程中结合搜索工具处理复杂任务，并通过多种规则型奖励指导和扩展端到端强化学习训练得到，在研究型写作和复杂检索任务上能力显著提升。所谓"沉思"，与普通思考模型的区别在于：普通思考模型只输出一段思考链后给答案，沉思模型则会在思考过程中主动调用搜索工具、阅读检索结果、再继续思考，如此反复多轮，直到认为信息足够后才给出最终报告。

最后，GLM-Z1-9B-0414 是一个惊喜。团队沿用上述技术训练了一个保持开源传统的 9B 小尺寸模型。尽管规模更小，它在数学推理和通用任务中依然展现出极为优秀的能力，整体表现处于同尺寸开源模型领先水平，尤其在资源受限场景下实现了效率与效果的出色平衡，为追求轻量化部署的用户提供了强有力的选择。官方还在 ModelScope 上提供了 GLM-Z1-9B-0414 的在线体验 Studio，无需下载权重即可直接试用。

项目更新时间线：2025 年 7 月 2 日，团队正式发布 GLM-4.1V-9B-Thinking 系列视觉理解模型，这是 GLM 家族在多模态方向的最新开源作品，更多信息见独立 GitHub 仓库；2025 年 4 月 14 日发布 GLM-4-32B-0414 系列，模型规模从 9B 提升至 32B，同时提供对话、推理、沉思三种能力的模型；2024 年 6 月 18 日发布技术报告，系统阐述从 GLM-130B 到 GLM-4 All Tools 的技术路线；2024 年 6 月 5 日发布 GLM-4-9B 系列开源模型，详细内容见仓库 README_240605.md（中文见 README_zh_240605.md）。

三、效果展示

官方 README 给出了四类能力演示，分别覆盖动画生成、网页设计、SVG 生成与分析调研撰写：

1. 动画绘制：GLM-Z1-32B-0414 与 GLM-4-32B-0414 分别根据提示"编写一个 Python 程序，展示小球在旋转六边形内弹跳，受重力与摩擦影响并从旋转墙壁真实反弹"生成动画视频；GLM-4 侧还给出中文提示"用 HTML 模拟一个小球从旋转六边形中心释放后的场景，考虑小球与六边形边框碰撞及重力，假设碰撞均为完全弹性碰撞"。
2. 网页设计：GLM-4-32B-0414 可设计支持自定义函数绘制的绘图板（可添加、删除自定义函数并为函数指定颜色），以及包含训练任务、存储管理、个人统计信息界面的移动端机器学习平台 UI——个人统计界面要用图表展示用户过去一段时间各类资源使用情况，使用 Tailwind CSS 美化，并把三个手机界面平铺展示到一个 HTML 页面中。
3. SVG 生成：可"用 SVG 创作一幅烟雨江南"这类意境作品，也可用 SVG 清晰展示一个 LLM 的完整训练流程。
4. 分析调研撰写：完成"中国城市 AI 发展分析：北京与杭州的对比研究，同时调研国外城市用 AI 进行城市治理的案例"这类开放式研究型任务。

四、模型列表与环境要求

4.1 GLM-4-0414 系列模型

GLM-Z1-9B-0414 可在 ModelScope Studio 在线体验。各模型规格如下：

GLM-4-9B-0414 由于模型容量较小，官方未对其智能体能力做类似 GLM-4-32B-0414 的强化，主要针对翻译等需要大批量调用的场景进行优化。模型原生采用 32K 上下文训练，对于输入+输出长度可能超过 32K 的请求，建议激活 YaRN 获得较好的外推性能（见下文部署章节）。

4.2 2024 年 6 月发布的 GLM-4-9B 系列

4.3 环境与依赖要求

模型实现已合并进主流推理框架：vLLM 实现见 glm4.py；Transformers 实现见 modeling_glm4.py；llama.cpp 实现见对应 Pull Request。本地部署时建议使用最新版 vLLM 或 Transformers，GPU 显存按所选模型规格准备：9B 级别建议单卡 24GB 以上（使用 4-bit 量化可进一步降低门槛），32B 级别建议多卡或使用量化版本；模型权重除 Hugging Face 外，大陆用户可优先从 ModelScope、Modelers、WiseModel 下载，速度更稳定。

五、部署步骤与使用方法

5.1 长上下文处理（YaRN）

如果模型的输入+输出 token 数可能超过模型原生上下文长度（GLM-4-0414 系列多数为 32K），建议开启 YaRN 获得更好的长上下文建模能力。对于支持的框架，在对应 config.json 中修改：

"rope_scaling": {
    "factor": 4.0,
    "original_max_position_embeddings": 32768,
    "type": "yarn"
}

对于 GLM-Z1 系列模型，当输入长度超过 8,192 tokens 时，考虑启用 YaRN（Rope Scaling）。如果大多数请求的输入+输出不会超过原生上下文长度，则无需任何修改。

5.2 模型微调

微调所需算力信息与案例脚本见仓库 finetune/README.md，推理环境依赖见 inference/requirements.txt。可通过以下命令开启一个简单的模型微调案例，使用单张 GPU 完成 Chat 模型的 LoRA 微调：

cd finetune
pip install -r ../inference/requirements.txt
pip install -r requirements.txt
# 使用单 GPU 做 Chat 微调
python finetune.py  data/AdvertiseGen/  zai-org/GLM-4-9B-0414  configs/lora.yaml

其中 data/AdvertiseGen/ 是示例数据集目录，zai-org/GLM-4-9B-0414 是基座模型名，configs/lora.yaml 是 LoRA 微调配置。脚本同时支持使用 SwanLab 进行微调可视化跟踪，可在 SwanLab 看板上查看案例微调脚本的训练日志、损失曲线与评估指标。

5.3 提示词（Prompt）实现

如果你使用 Transformers 库提供的 apply_chat_template 方法构建提示词，需要注意不同 GLM-4-0414 模型对系统提示词的限制：

• GLM-4-32B-Base-0414：基座模型，无对话模板。
• GLM-4-*-0414 / GLM-Z1-*-0414：如果传入 tools，则由 apply_chat_template 把工具填充到 chat_template 中的固定模板，单独作为一条带 tools 绑定的 system 字段信息拼接于 messages[0]，原本传入的所有 messages 自动后移一位。
• GLM-Z1-Rumination-32B-0414：不支持自定义系统提示词，不支持自定义工具——所有 tools 和 system 字段会被 apply_chat_template 忽略；使用该模型需要外接搜索引擎或自定义 retrieval API。它一共内置四个工具： 1. search：执行搜索查询并返回搜索结果，参数 query（字符串，除非中文专有名词否则用英文单词）； 2. click：点击搜索结果中的链接并导航到相应页面，参数 link_id（整数，来自搜索结果序号）； 3. open：通过 URL 获取任何网站内容，参数 url（字符串）； 4. finish：完成任务，无参数。

其 chat_template 固定模板默认使用英文思考过程，如需更换语言（暂支持中文和英文），需修改模板中的"搜索关键词"与"思考"两处语言配置。

各模型具体对话模板可前往对应模型仓库中的 chat_template.jinja 查看。需要特别注意的是：传入 tools 后消息数组会整体后移一位，应用层拼接历史消息时不要重复拼接已由模板填充的 system 字段，否则会出现工具说明重复拼接的问题；GLM-Z1-Rumination 模型则完全由模板内置工具驱动，应用层不应再自行传入工具定义，否则会被忽略。

六、评测结果

在 GLM-4-0414 系列的对比评测中，GLM-4-32B-0414 与 Qwen2.5-Max、GPT-4o-1120、DeepSeek-V3-0324、DeepSeek-R1 等模型同场比较：

官方说明：对 SimpleQA 和 HotpotQA，分别从测试集中采样近 500 条样例，为所有模型提供最基础的 search 和 click 工具，其余设置保持一致后评测 3 次取平均值。

在 SWE-bench 类软件工程任务上，GLM-4-32B-0414 在三种智能体框架下的成绩为：

评测配置：Moatless v0.0.3 使用 response_format="react", thoughts_in_action=False, max_iterations=30，不对失败轨迹重试，其余为默认配置；Agentless v1.5.0 使用 BGE 做 Embedding、基于 FAISS 做相似性检索，为加快 patch 验证速度同时尽可能保证效果，把运行单个实例的超时时间从默认 300s 修改为 180s；OpenHands v0.29.1 不使用 YaRN 扩展上下文，而是限制最多 60 个 iterations，并对 history 做 summarization（配置为 llm_config="condenser", keep_first=1, max_size=32）以防止超出 32K 上下文限制，同样不对失败轨迹重试。GLM-Z1-0414 系列的详细评测图见仓库 resources/Bench-Z1-9B.png 与 resources/Bench-Z1-32B.png，GLM-4-0414 系列总览图见 resources/Bench-32B.png。

七、常见问题 FAQ

1. GLM-4-32B-0414 和 GLM-Z1-32B-0414 怎么选？ 前者是对话模型，适合通用对话、函数调用、Agent 工具调用；后者是深度思考推理模型，适合数学、代码、逻辑等需要先推理再回答的复杂任务。
2. GLM-Z1-Rumination 和普通 GLM-Z1 有什么区别？ 它面向开放复杂的研究型任务（如城市 AI 发展对比调研），内置 search/click/open/finish 四个搜索工具，不接受自定义工具和系统提示词，需外接搜索或检索 API；其思考过程默认使用英文，如需中文思考要修改 chat_template.jinja 中的语言配置。
3. 上下文超过 32K 怎么办？ 在 config.json 配置 YaRN（factor 4.0、original_max_position_embeddings 32768、type yarn）；GLM-Z1 系列输入超过 8,192 tokens 就建议开启。
4. 想本地轻量部署选哪个？ GLM-Z1-9B-0414，9B 规模在数学推理和通用任务上同尺寸领先，资源受限场景下效率与效果平衡最好；GLM-4-9B-0414 则面向翻译等大批量调用场景。
5. 如何微调？ 进入 finetune 目录，安装 inference/requirements.txt 与 requirements.txt 后执行 python finetune.py data/AdvertiseGen/ zai-org/GLM-4-9B-0414 configs/lora.yaml，支持 SwanLab 可视化跟踪。
6. 支持哪些推理框架？ vLLM、Transformers、llama.cpp 均已合并官方实现（实现链接见跳转章节），可直接加载对应模型卡，无需自行转换权重；ModelScope、Modelers、WiseModel 等国内镜像也提供权重下载。
7. 9B 老版本和 0414 新版本怎么选？ 2024 年 6 月的 GLM-4-9B 系列提供 8K/128K/1M 多种上下文版本（含视觉模型 GLM-4V-9B），适合已有历史代码适配；2025 年 4 月的 GLM-4-0414 系列在指令遵循、函数调用、代码生成上全面更强，新部署优先选 0414 系列。
8. 如何引用？ 论文引用见 ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools (arXiv:2406.12793)，BibTeX 见仓库引用章节。

八、跳转链接

如果在使用过程中遇到问题，可以通过 Z.ai 免费在线体验各模型，或在 bigmodel.cn 申请商业模型服务；也可加入官方 Discord 与团队和其他用户交流。以下是本文整理涉及的全部入口：

• 仓库主页：github.com/zai-org/GLM-4
• 免费体验：chat.z.ai
• 商业服务：bigmodel.cn
• Hugging Face：huggingface.co/zai-org
• ModelScope：modelscope.cn/models/ZhipuAI
• 新版视觉模型：GLM-4.1V-Thinking 仓库
• 推理实现：vLLM、Transformers、llama.cpp