LLaMA Factory：低代码大模型微调平台部署指南
hiyouga/LLaMA-Factory 是大模型生态中备受关注的开源项目，Star 数约 ~76k。本文基于官方 README 完整整理，从项目背景、核心特性、安装部署、使用示例到常见问题进行全面说明，帮助开发者快速上手并完成本地部署。
一、项目官方信息
| 项目 | 信息 |
|---|---|
| GitHub 仓库 | hiyouga/LLaMA-Factory |
| Hugging Face | huggingface.co/hiyouga |
| Star 数 | ~76k |
| 开源协议 | 见仓库 LICENSE 文件 |
| 主要语言 | Python（以仓库 README 为准） |
二、官方图片
仓库 README 以文字与架构图为主，封面取 GitHub 仓库图。
三、环境要求
部署本项目需要准备以下环境：操作系统方面支持 Linux、macOS 与 Windows 三大平台；Python 版本要求 3.8 及以上，推荐使用最新稳定版；GPU 方面推荐 NVIDIA CUDA 11.8 或更高版本，Apple Silicon 芯片用户可使用 MLX 框架进行推理；内存根据模型规格而定，最小需要 8GB，运行大模型建议 32GB 以上；磁盘空间需为模型权重文件与运行数据目录预留 20GB 以上；网络环境需可访问 Hugging Face Hub 或 ModelScope 以下载模型权重。此外，若需进行量化部署，还需安装对应量化库；若需启动 API 服务，需确保相应端口未被占用。建议在虚拟环境中安装依赖，避免版本冲突。
四、完整部署步骤
1. 克隆仓库
首先从 GitHub 克隆项目代码到本地：
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
2. 安装依赖
根据 README 说明，使用 pip 安装所需依赖包：
pip install transformers
pip install accelerate
3. 下载模型权重
从 Hugging Face Hub 或 ModelScope 下载对应规格的权重文件，放到本地模型目录。下载时注意根据硬件显存选择合适的量化版本。
4. 加载模型并推理
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("model-path", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("model-path")
inputs = tokenizer("你好，请介绍一下自己。", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
5. 部署为 API 服务
生产环境推荐使用 vLLM、SGLang 或 Text Generation Inference 启动 OpenAI 兼容 API 服务，支持批量推理、流式输出与并发请求。
五、核心特性与使用方法
根据官方 README，本项目主要特性如下：
- Please refer to usage
- Colab (free): https://colab.research.google.com/drive/1eRTPn37ltBbYsISy9Aw2NuI2Aq5CQrD9?usp=sharing
- PAI-DSW (free trial): https://gallery.pai-ml.com/#/preview/deepLearning/nlp/llama_factory
- AMD GPU Cloud (free credits): https://github.com/AMD-AIM/AMD_Developers_Notebooks/blob/main/en/AMD_developer_LLaMAFactory_note_en.md
- Documentation (WIP): https://llamafactory.readthedocs.io/en/latest/
- Documentation (AMD GPU): https://rocm.docs.amd.com/projects/ai-developer-hub/en/latest/notebooks/fine_tune/llama_factory_llama3.html
- Documentation (ASCEND NPU): https://llamafactory.readthedocs.io/en/latest/multibackend/npu/index.html
- Official Blog: https://blog.llamafactory.net/en/
在实际使用中，本项目支持多种交互方式：命令行交互模式适合快速测试；OpenAI 兼容 API 服务方便集成到现有应用；提供 GGUF、AWQ、GPTQ 等多种量化版本适配不同显存的消费级显卡；支持 LoRA、QLoRA 等低参数微调方法，可在有限显存下完成领域适配；可通过 LangChain 或 LlamaIndex 集成到 RAG 检索增强、Agent 智能体、知识库问答等应用场景中。
六、常见问题 FAQ
1. 支持哪些模型规格？ 以仓库 README 列出的模型为准，通常涵盖从 0.5B 到 70B 以上的多种参数规格，稠密模型与 MoE 混合专家模型均有提供。
2. 显存不够运行大模型怎么办？ 使用量化版本（4-bit 或 8-bit 量化），或开启 CPU offload 将部分计算层放到内存中执行，也可使用 GGUF 格式在消费级显卡上运行。
3. 如何部署为 API 服务？ 用 vLLM、SGLang 或 TGI 启动 OpenAI 兼容服务，支持并发请求与流式输出，可直接对接 ChatGPT Next Web 等前端。
4. 支持商用吗？ 见仓库 LICENSE 与模型许可协议，多数开源模型采用 Apache 2.0 协议可免费商用，但部分自定义许可需单独确认。
5. 如何与其他框架集成？ 可通过 LangChain 或 LlamaIndex 接入 RAG 检索增强、Agent 智能体、知识库问答等应用场景，也支持通过函数调用接入外部工具。
七、跳转链接
- GitHub 仓库：hiyouga/LLaMA-Factory
- Hugging Face：huggingface.co/hiyouga
- 官方文档：见仓库 README 内链接