Awesome-LLMOps · 大模型运维（LLMOps）工具精选清单 · 使用指南
项目仓库： https://github.com/InftyAI/Awesome-LLMOps
开源协议：见仓库 LICENSE · 类型：Awesome 精选工具清单 · 覆盖：推理 / 编排 / 运行时 / 训练 · 仓库分支：main
说明：任务清单登记仓库
imoneoi/awesome-llmops已不可达；当前社区主流的 LLMOps 工具清单为InftyAI/Awesome-LLMOps（前身 tensorchord），本文按其官方 README 撰写。
1 项目简介
Awesome-LLMOps 是一份精选的 LLMOps 工具清单，按推理、编排、运行时、训练四大板块组织当前最受关注的大模型工程化工具。官方欢迎通过 issue 增补新项目。
1.1 核心信息一览
| 项目项 | 内容 |
|---|---|
| 项目名称 | Awesome-LLMOps |
| 仓库地址 | github.com/InftyAI/Awesome-LLMOps |
| 项目定位 | LLMOps 工具精选清单 |
| 类型 | Awesome 列表 |
| 内容板块 | 推理 / 编排 / 运行时 / 训练 |
| 仓库分支 | main |
1.2 适用场景
- 为大模型应用选型推理引擎、推理平台、AI Gateway、LLM Router。
- 找 Agent 框架、RAG、Workflow、评测与仿真工具。
- 汇总训练、微调、RLHF、Agentic RL 相关框架。
1.3 能力边界（官方口径）
- 它是工具清单，不是软件；欢迎通过 issue 增补新项目。
2 内容结构（官方目录）
- Inference：推理引擎、推理平台、中间件、LLM Router、AI Gateway、Output、Simulator、Benchmark。
- Orchestration：Agent Framework、Application Framework、RAG、Workflow、Evolutionary Framework。
- Runtime：AI Terminal、AI Agent、Chatbot、Code Agent、Evolve Agent、Database、Observation、Sandbox、Tool。
- Training：Framework、FineTune、RLHF、Agentic RL、Benchmark、Workflow。
3 官方跳转链接汇总
| 类别 | 链接 | 说明 |
|---|---|---|
| 仓库主页 | https://github.com/InftyAI/Awesome-LLMOps | 完整清单 |
| Awesome 索引 | awesome.re | Awesome 列表索引 |
4 使用方式
git clone https://github.com/InftyAI/Awesome-LLMOps.git
cd Awesome-LLMOps直接在 README 按板块查阅对应工具。
5 常见问题
- 如何选工具：按推理/编排/运行时/训练四大板块逐层筛选。
- 增补项目：官方欢迎开 issue 推荐新项目。
6 风险与说明
- 许可证：以仓库 LICENSE 为准。
- 非软件：本项目为工具清单，无部署/运行时。
- 非官方声明：本文基于官方仓库 README 整理，内容以 main 分支最新为准。