仓库:https://github.com/OpenAccess-AI-Collective/axolotl 官方文档:https://docs.axolotl.ai/ 许可证:Apache-2.0 运行形态:Python 库 + YAML 配置驱动训练
1. 项目简介
Axolotl 是自由开源的大模型微调框架,由 Open Access AI Collective 维护。以 YAML 配置驱动训练流程,覆盖多模型、多后端、多卡多机,并持续跟进 Mistral Large 4、Beam、MiniCPM5、Qwen3.6 等新模型。
1.1 核心信息一览
| 项目 | 内容 |
|---|---|
| 仓库 | OpenAccess-AI-Collective/axolotl |
| 定位 | YAML 配置驱动的 LLM 微调框架 |
| 包管理 | uv |
| Python | 3.12 |
| 安装 | uv pip install --no-build-isolation axolotl[deepspeed] |
| 配置 | YAML 训练配置 |
1.2 适用场景
- 想用 YAML 配置快速复现 / 微调大模型;
- 需要多卡 / 多机 / DeepSpeed 训练;
- 想跟进最新模型的 LoRA / QLoRA 训练。
1.3 能力边界(官方口径)
- 训练需 GPU;
- 各模型支持矩阵见官方文档 Support Matrix;
- 配置项以官方 config-reference 为准。
2. 功能特性
- 配置驱动:YAML 描述模型、数据、训练参数;
- 多后端:DeepSpeed、FSDP2、专家并行(EP);
- 量化训练:NVFP4 LoRA、CPU-staged FSDP2 QLoRA;
- 多卡多机:multi-GPU / multi-node 文档;
- 新模型跟进:Mistral Large 4、Beam、MiniCPM5、Qwen3.6 等;
- AI Agent 文档:内置供 Claude Code / Cursor / Copilot 读取。
3. 官方界面预览
官方 README 仅 SVG logo,无界面截图,按规程不强行配图。
4. 官方跳转链接汇总
- 仓库主页:https://github.com/OpenAccess-AI-Collective/axolotl
- 文档:https://docs.axolotl.ai/
- 安装:https://docs.axolotl.ai/docs/installation.html
- 配置参考:https://docs.axolotl.ai/docs/config-reference.html
- 多卡训练:https://docs.axolotl.ai/docs/multi-gpu.html
- Support Matrix:https://docs.axolotl.ai/docs/support-matrix.html
- Colab 示例:https://colab.research.google.com/github/axolotl-ai-cloud/axolotl/blob/main/examples/colab-notebooks/colab-axolotl-example.ipynb
5. 前置要求与服务器配置
- Python 3.12;
- uv;
- NVIDIA GPU(
UV_TORCH_BACKEND=cu130示例); - 多卡训练参考官方 multi-gpu 文档。
6. 方式一:uv 安装(推荐)
# 安装 uv
curl -LsSf https://astral.sh/uv/install.sh | sh
# 按系统设 torch 后端
export UV_TORCH_BACKEND=cu130
# 建虚拟环境
uv venv --python 3.12
source .venv/bin/activate
uv pip install torch==2.14.0 torchvision
uv pip install --no-build-isolation axolotl[deepspeed]7. 方式二:多卡 / 多机与配置
按官方 examples 写 YAML 配置,然后用 axolotl CLI 启动训练(具体命令以官方 installation / multi-gpu 文档为准)。
8. 配置项说明
| 配置 | 说明 |
|---|---|
| YAML 配置 | 模型、数据、训练超参 |
axolotl[deepspeed] |
含 DeepSpeed 的扩展包 |
UV_TORCH_BACKEND |
torch 后端(如 cu130) |
| Support Matrix | 模型 / 特性兼容性 |
9. 常用运维命令
# 建环境
uv venv --python 3.12 && source .venv/bin/activate
# 安装
uv pip install --no-build-isolation axolotl[deepspeed]10. 常见故障排查
- 版本不匹配:按官方 installation 用 Python 3.12 与指定 torch;
- 多卡报错:参考 multi-gpu / multi-node 文档;
- 新模型不支持:查 Support Matrix 与最新 release;
- 量化 OOM:试 CPU-staged FSDP2 QLoRA。
11. 风险与合规说明
- Apache-2.0 许可;
- 训练数据与模型遵守各自许可;
- GPU 成本由使用者承担;
- 本文为社区部署笔记,命令以官方文档最新版本为准。