KTransformers 是一个专注于通过 CPU-GPU 异构计算实现大语言模型高效推理与微调的研究项目，GitHub Star 数约 2 万，采用 Apache-2.0 协议。项目口号是「让消费级硬件也能跑前沿大模型」：把 MoE 模型的密集层放在 GPU、把稀疏的专家层放在 CPU，从而在单张消费级显卡上跑起原本需要多卡数据中心才能运行的大模型。它最初由清华 MADSys Lab 发起，2025 年 2 月因「单张 24GB 显卡跑 DeepSeek-R1/V3」而声名鹊起，如今已发展为同时覆盖推理与微调的完整框架。目前项目对外提供两大能力——高性能 kt-kernel 推理服务，以及与 LLaMA Factory 集成的大模型微调（SFT）。两者共用同一套 CPU-GPU 异构内核，区别只在于推理是把专家按需调用来生成 token，微调是把梯度与权重在 CPU/GPU 间协同更新。本文基于官方 README 完整整理，适合希望在有限硬件上体验和微调最新 MoE 模型的读者。阅读后你应该能够判断自己的硬件能跑哪些模型、该选哪种量化格式、以及如何把推理和微调串成一条完整链路，并最终部署成可用的服务。
一、项目官方信息
| 项目 | 信息 |
|---|---|
| GitHub 仓库 | kvcache-ai/ktransformers |
| 开源协议 | Apache-2.0 |
| Star 数 | 约 20,000 |
| 推理文档 | kt-kernel/README.md |
| 微调 Cookbook | KTransformers-Fine-Tuning Cookbook |
| 推理论文 | SOSP 2025 |
| 微调论文 | KT-FT 预印本 |
| 维护团队 | 清华 MADSys Lab、Approaching.AI、9#AISoft |
二、官方图片
项目 README 顶部展示 KTransformers 官方 Logo，并配有 kt-kernel 异构推理架构示意图与 LLaMA Factory × KTransformers 微调架构图；本文封面采用官方仓库图。
三、项目背景与能力概览
KTransformers 要解决的问题是：前沿 MoE 大模型（如 DeepSeek-V3/R1、Kimi K2、Qwen3 系列）参数量动辄成百上千亿，全量放进 GPU 显存在消费级硬件上不现实，但 MoE 模型的大量专家只在少数 token 上被激活。KTransformers 的思路是 CPU-GPU 异构计算——把计算密集、频繁访问的部分放 GPU，把稀疏、冷启动的专家放 CPU，用 NUMA 感知的内存管理与优化过的 CPU 内核压榨出可行的吞吐。这样一来，用户不需要购买多卡数据中心，用一台带大内存的工作站加几张消费级显卡就能跑起原本「遥不可及」的模型。它的核心洞察是：MoE 的稀疏性天然适合「冷热分离」——大部分专家在一次推理中根本用不到，把它们放在 CPU 内存里按需调用，远比把全部权重塞进 GPU 显存更经济；而真正被频繁访问的共享注意力与密集层放在 GPU 上，又能保住关键路径的速度。这种分工让一台「CPU 内存够大、GPU 不用太多」的工作站，就能承担原本需要几十张数据中心卡的工作负载。项目从最初的 DeepSeek 推理工具演进为同时支持推理与微调的框架，2026 年 4 月起把两大能力从 kt-kernel 源码树中独立整理，文档更清晰，维护也更方便。
四、推理能力（kt-kernel）
核心特性
- AMX/AVX 加速：针对 Intel AMX 与 AVX512/AVX2 优化的内核，支持 INT4/INT8 量化推理。这意味着即使在没有最新 AMX 的老款 x86 CPU 上，也能通过 AVX2 后端跑起来；
- MoE 优化：结合 NUMA 感知内存管理的高效 MoE 推理。专家权重按 NUMA 节点放置，减少跨内存槽访问延迟；
- 量化支持：CPU 侧 INT4/INT8 量化权重，GPU 侧 GPTQ，支持 unsloth 1.58/2.51 bit 权重与 IQ1_S/FP8 混合权重；
- 易于集成：提供简洁的 Python API，可接入 SGLang 等框架做生产级服务；
- 长上下文与前缀缓存：支持 3 层（GPU-CPU-磁盘）前缀缓存复用，DeepSeek-V3/R1 在 24GB 显存下可扩展到 139K 上下文；
- 多并发：支持多请求并发调度，配合负载均衡对外提供服务。
快速开始
cd kt-kernel
pip install .
安装完成后，按照对应模型的 tutorial 准备好权重（CPU 侧 INT4/INT8 或 GPU 侧 GPTQ 量化），即可启动异构推理服务；想在生产环境用，再接上 SGLang 做服务化。
适用场景与性能
典型用法包括：大 MoE 模型的 CPU-GPU 混合推理、与 SGLang 集成做生产部署、异构专家放置（热专家放 GPU、冷专家放 CPU）。这种冷热分离的专家放置策略是 KTransformers 的核心思路之一——把经常被路由到的专家放 GPU 保证速度，把很少用到的专家放 CPU 节省显存。官方给出的性能参考：DeepSeek-R1-0528（FP8）在 8×L20 GPU + Xeon Gold 6454S 上，总吞吐 227.85 tokens/s，8 路并发下输出吞吐 87.58 tokens/s。这一数据说明异构方案在数据中心多卡场景下依然有竞争力，而不只是「能跑」的玩具。
对个人用户而言，更有参考意义的是早期的 showcase：单张 24GB 显卡加约 382GB 内存即可跑 DeepSeek-R1/V3，相对传统全量 GPU 方案有 3 到 28 倍的提速；后续通过 FP8 内核、更长上下文、前缀缓存等改进，24GB 显存的上下文窗口从 4K 逐步扩展到 8K 乃至 139K，输出速度也从早期水平提升到约 16 tokens/s。这些数字对「我家里的机器够不够」这一问题给出了直观答案，也说明 KTransformers 在消费级硬件上的可用性已经过了多年迭代验证。
从更新记录看，项目对新模型保持「Day0 支持」节奏：DeepSeek-V4-Flash、Kimi K2.5/K2.6、GLM-5.3-flash、MiniMax-M3、Qwen3-Next 等均在发布后很快适配；硬件上还支持 Intel Arc GPU、AMD ROCm、华为昇腾 NPU、纯 AVX2 后端等，Windows 也已原生支持。关键里程碑包括：2025 年 2 月首次在单张 24GB 显卡上跑通 DeepSeek-R1/V3，相比传统方案提速 3 到 28 倍；随后陆续支持 FP8 内核、更长上下文、多并发、3 层前缀缓存、CPU-GPU 专家调度；2025 年 10 月集成进 SGLang；2026 年上半年把 LoRA 微调扩展到 AVX512 x86 CPU（含 AMD 服务器），并发布 BF16 全参微调与 block-FP8 LoRA 能力。
换句话说，只要你想试的模型是主流 MoE 架构（DeepSeek、Kimi、GLM、MiniMax、Qwen3 系列），KTransformers 大概率已经有现成教程；想尝鲜新发布模型的研究者，可以在仓库的 doc 目录下按模型名找到对应的 tutorial。从更新频率看，团队基本保持「新模型发布后几天内就出教程」的节奏，2026 年以来已经覆盖了 DeepSeek-V4-Flash、Kimi K2.5/K2.6、GLM-5.2/5.3-flash、MiniMax-M2.5/M3 等一大批新模型。
五、微调能力（SFT × LLaMA Factory）
KTransformers 与流行微调框架 LLaMA Factory 集成，面向超大规模 MoE 模型微调。配套 Cookbook 覆盖从硬件检查、安装、 BF16/FP8/INT8 配置、LoRA/全参训练、资源规划到排错的完整路径，官方称其为「easy-to-use」的一站式手册。对用户来说，这意味着不需要从零写训练循环，只需要在 LLaMA Factory 熟悉的 yaml 配置里换成 KT 的配置文件，就能在消费级硬件上微调 MoE 大模型。核心特性：
- 多后端支持：CPU/GPU 混合微调，支持 INT8/INT4 量化；
- 超大规模 MoE 支持：在有限显存下微调 DeepSeek-V3/R1 级模型；
- 比 ZeRO-Offload 快：在基准 MoE SFT 负载中提速 6-12 倍；
- 更省 CPU 内存：约为上一代 KT SFT 路径的一半；
- LlamaFactory 集成：无缝接入主流微调框架；
- 多训练范式：支持 LoRA、全参微调、RL-DPO 偏好优化；
- 新量化格式：支持原生 MXFP4、RAWINT4 路由专家与 block-FP8 LoRA。
官方性能参考：
| 模型 | 显存占用 | 训练速度 | 硬件 |
|---|---|---|---|
| DeepSeek-V3 | 约 80GB | 3.7 it/s | 4×RTX 4090 |
| DeepSeek-R1 | 约 80GB | 3.7 it/s | 4×RTX 4090 |
| Qwen3-30B-A3B | 约 24GB | 8+ it/s | 1×RTX 4090 |
可以看到，即便用四张消费级 RTX 4090，也能对 DeepSeek-V3/R1 这种 600B 级模型做微调；而 Qwen3-30B-A3B 这类中等规模 MoE，单张 4090 就能跑，训练速度 8+ it/s。对个人研究者和小团队来说，这意味着不再需要排队等企业算力，就能完成大模型定制；配合官方 Cookbook 里的资源规划表，甚至可以在动手前先算清楚自己需要多少显存与内存。
快速开始示例：
cd /path/to/LLaMA-Factory
python -m pip install -e .
python -m pip install "ktransformers[sft]==0.7.0"
python -m pip install "sglang-kt==0.7.0"
CUDA_VISIBLE_DEVICES=0,1,2,3 accelerate launch \
--config_file examples/ktransformers/accelerate/fsdp2_kt_int8.yaml \
src/train.py \
examples/ktransformers/train_lora/qwen3_5moe_lora_sft_kt.yaml
这条命令的含义是：先把 LLaMA Factory 以可编辑模式装好，再装上 KTransformers 的 SFT 扩展与配套的 SGLang 服务包；然后用 accelerate 在 4 张卡上按 FSDP2 加 INT8 量化配置启动训练，训练任务为 Qwen3 5M 级 MoE 的 LoRA 微调。想复现新模型（如 Kimi K2.5/K2.6）的微调，官方提供了 PyPI 安装、训练、断点续训与 SGLang 部署的中文指南，路径在仓库 release examples 目录下，按步骤复制即可，遇到报错再去 Cookbook 的排错章节对号入座。
六、环境要求
推理侧需要：NVIDIA GPU（消费级或数据中心均可）、支持 AVX2/AVX512/AMX 的 x86 CPU（Intel 或 AMD 服务器均可，LoRA 微调不强制要求 AMX）、足够大的内存（MoE 专家权重放在 CPU 内存，几十 GB 起，跑 DeepSeek 级模型建议数百 GB）。微调侧在上述基础上还需安装 LLaMA Factory 与 accelerate；CPU 内存建议按模型规模预留。详细硬件检查步骤见官方 Cookbook，其中明确列出了不同模型、不同精度（BF16/FP8/INT8）下推荐的显存与内存配比，以及常见排错方法。
实际部署时的典型流程是：先按模型教程选好量化格式，用 pip install . 装好 kt-kernel，然后启动推理服务；要微调则切到 LLaMA Factory 目录，按 Cookbook 安装 ktransformers[sft] 与 sglang-kt，选好 accelerate 配置（如 fsdp2_kt_int8.yaml）与训练 yaml，用 accelerate launch 拉起训练。训练完成后，再用 SGLang 把微调后的模型部署成服务。整个过程不需要额外购买昂贵硬件，关键是把 CPU 内存配足、按 Cookbook 里的资源规划表预留好显存与内存。
七、引用与团队
如果在研究中使用 KTransformers，可引用两篇论文：推理侧为发表于 ACM SIGOPS 第 31 届操作系统原理研讨会（SOSP 2025）的 KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models，从系统设计角度阐述 CPU/GPU 混合推理如何释放 MoE 模型潜力；微调侧为 2026 年发布的作者预印本 KTransformers-FineTune (KT-FT)，介绍布局感知、调度优化的异构 MoE 微调，论文与完整 BibTeX 见仓库 papers 目录。项目由清华大学 MADSys Lab、Approaching.AI 与 9#AISoft 联合开发维护，社区贡献者共同参与；欢迎通过 GitHub Issues 报告 bug 或提交 PR，也欢迎通过微信交流群参与讨论。
八、常见问题（FAQ）
Q：我只有一张消费级显卡（如 RTX 4090），能跑 DeepSeek 级模型吗？ A：可以。KTransformers 把 MoE 专家放在 CPU 内存，GPU 只放密集层，官方示例显示 Qwen3-30B-A3B 单张 RTX 4090 即可微调（约 24GB 显存），DeepSeek-V3/R1 在 4×4090 上可做约 80GB 总显存的微调。
Q：KTransformers 与 vLLM/SGLang 是什么关系？ A：KTransformers 提供 CPU-GPU 异构内核，并已集成进 SGLang；生产部署时可以用 SGLang 做服务端，底层调用 kt-kernel。
Q：原始的 KTransformers 代码还在哪里？
A：最初的集成式框架已归档到 archive/ 目录，包含完整英文与中文文档；当前主线从 kt-kernel 源码树组织推理与微调两大能力。
Q：KTransformers 微调比传统 ZeRO-Offload 好在哪？ A：官方基准显示，在 MoE SFT 负载中 KT-FT 比 ZeRO-Offload 快 6-12 倍，CPU 内存占用约为上一代 KT SFT 路径的一半；这得益于布局感知与调度优化的异构协同计算，而不是简单地把层卸到 CPU。
Q：除了 NVIDIA，还能在哪些硬件上跑？ A：推理侧已支持 Intel Arc GPU、AMD ROCm、华为昇腾 NPU，以及纯 AVX2 后端（不依赖 AMX）；操作系统上 Windows 已原生支持，Linux 自然不在话下。
Q：KTransformers 适合做产品部署还是只适合研究？ A：两者皆可。官方一方面持续发表 SOSP 等系统论文，另一方面通过与 SGLang 集成、提供生产性能数据（8 路并发 87.58 tokens/s），明确支持把异构推理用于在线服务；个人用户可以在消费级硬件上先跑通验证，再迁移到数据中心多卡集群。
Q：我想用 AutoDL 等云租机做微调，有现成方案吗？ A：官方文档中提供了「AutoDL + KTransformers + LLaMA Factory」的云端低价训推一体化流程 PDF，支持随用随租，适合不想自备工作站、只想按需跑一两次训练的用户。
Q：KTransformers 支持 DPO 等偏好优化吗？ A：支持。2025 年 12 月起已集成 LLaMA Factory 的 RL-DPO 微调能力，可以在同一条微调链路里完成 SFT 与偏好对齐。
九、跳转链接
- 官方仓库：github.com/kvcache-ai/ktransformers
- 推理文档：kt-kernel/README.md
- 微调 Cookbook：KTransformers-Fine-Tuning Cookbook
- 微调快速开始：Quick-Start
- 微调论文：KT-FT 预印本
- 路线图：GitHub Issue #1921
- 旧版文档：archive/README.md
总体来看，KTransformers 把「在消费级硬件上跑、微调前沿 MoE 大模型」从理想变成了可复现的流程：推理侧用 CPU 内存换显存，微调侧用 LLaMA Factory 降低上手门槛，再通过 SGLang 接入生产服务。对于没有数据中心预算、但想亲手体验 DeepSeek、Kimi、Qwen3 等最新模型的研究者与开发者，它是目前最成熟的开源选择之一；后续路线图（见 GitHub Issue #1921）也明确了对更多模型与硬件的支持计划，包括对 CPU 后端、新量化格式与更多国产芯片的适配。