Ollama：一行命令本地运行大模型安装与使用指南
一、官方信息
| 项目名称 | Ollama |
| 仓库地址 | https://github.com/ollama/ollama |
| 官方网站 | https://ollama.com |
| 模型库 | https://ollama.com/library |
| 最新更新 | 持续高频迭代（2026-10-28） |
| Star 数 | 12 万+ |
| 项目定位 | 把 llama.cpp 包装成 Docker 式的本地模型运行时，一条命令拉模型并启动 OpenAI 兼容 API |
二、项目背景
Ollama 成立于 2023 年，团队核心思路是把"下载模型、量化、加载、起 API"这一整套繁琐流程封装成类似 Docker 的命令行体验。底层调用 llama.cpp，但用户完全不需要关心编译、GGUF 转换、参数调优，只要 ollama run qwen2.5 即可开始对话。
它已经成为本地跑大模型最流行的方式，支持 1000+ 预打包模型（DeepSeek-R1、Qwen2.5、Llama 3.1、Gemma2、Mistral、Phi、GLM4 等），并提供官方 macOS/Windows 客户端、Linux 一键安装脚本，以及完整的 REST API。Open WebUI、Chatbox、NextChat 等前端都把 Ollama 作为默认后端。
三、核心特性
- 一行命令跑模型：
ollama run deepseek-r1:7b自动下载、加载、对话。 - 模型库开箱即用：官方 Library 收录千余款主流模型，按标签选择量化版本。
- OpenAI 兼容 API：默认监听 11434 端口，提供 /v1/chat/completions，可直接替换 OpenAI SDK。
- Modelfile 自定义：类似 Dockerfile，可基于已有模型 System Prompt、模板、参数。
- GPU 自动 offload：自动检测 NVIDIA/AMD/Apple Silicon，无需手动调 -ngl。
- 多平台客户端：macOS、Windows、Linux、Docker、REST API 全覆盖。
- 工具调用 / 流式输出：原生支持 Function Calling、流式 SSE、多模态（LLaVA 等视觉模型）。
四、环境要求
- 操作系统：Ubuntu 22.04+ / macOS 12+ / Windows 10+（带 WSL2 更佳）
- 内存：7B 模型 ≥ 8GB；14B ≥ 16GB；70B ≥ 64GB
- GPU（可选）：NVIDIA 显卡 ≥ 4GB 显存（CUDA 12+）；Apple Silicon 统一内存；AMD ROCm
- 磁盘：每个模型 4~40GB，建议预留 100GB+ SSD
五、详细部署步骤
方式一：Linux 一键安装（推荐服务器）
# 官方一键脚本
curl -fsSL https://ollama.com/install.sh | sh
# 验证安装
ollama --version
# 预期输出：ollama version is 0.x.x
# 安装完成后服务自动后台运行，监听 127.0.0.1:11434
systemctl status ollama方式二：macOS / Windows 客户端
访问 https://ollama.com/download 下载 dmg/exe 安装包，双击安装即可。菜单栏会出现羊驼图标，后台自动启动服务。
方式三：Docker 部署（服务器推荐）
# 1. 拉取镜像
docker pull ollama/ollama:latest
# 2. 创建数据目录
mkdir -p ~/ollama/models
# 3. 启动容器（CPU 版）
docker run -d \
--name ollama \
-p 11434:11434 \
-v ~/ollama/models:/root/.ollama \
ollama/ollama:latest
# 4. 带 GPU 支持（需安装 nvidia-container-toolkit）
docker run -d \
--name ollama \
--gpus=all \
-p 11434:11434 \
-v ~/ollama/models:/root/.ollama \
ollama/ollama:latest
# 5. 进入容器执行命令
docker exec -it ollama ollama run qwen2.5:7b常用命令
# 拉取模型
ollama pull qwen2.5:7b
ollama pull deepseek-r1:7b
ollama pull llava:13b # 多模态视觉模型
# 运行模型（首次自动 pull）
ollama run qwen2.5:7b
# 列出已安装模型
ollama list
# 查看模型详情
ollama show qwen2.5:7b
# 删除模型
ollama rm qwen2.5:7b
# 复制模型（基于已有模型做微调后保存）
ollama cp qwen2.5:7b my-model
# 停止运行中的模型
ollama stop qwen2.5:7b开放远程访问（让其他机器调用）
# 默认只监听 127.0.0.1，需要远程访问时设置环境变量
# Linux systemd 方式
sudo systemctl edit ollama.service
# 写入：
# [Service]
# Environment="OLLAMA_HOST=0.0.0.0"
# Environment="OLLAMA_ORIGINS=*"
sudo systemctl daemon-reload
sudo systemctl restart ollama
# Docker 方式：启动时加 -e OLLAMA_HOST=0.0.0.0调用 API
# 原生 API
curl http://localhost:11434/api/generate -d '{
"model": "qwen2.5:7b",
"prompt": "你好，介绍下你自己",
"stream": false
}'
# OpenAI 兼容接口
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen2.5:7b",
"messages": [{"role":"user","content":"写一首七言律诗"}],
"stream": false
}'自定义 Modelfile（打造专属模型）
# 新建 Modelfile
cat > Modelfile << 'EOF'
FROM qwen2.5:7b
# 系统提示词
SYSTEM """你是若琳的专属助手，说话要温柔简洁，用中文回答。"""
# 对话参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 8192
PARAMETER stop "<|im_end|>"
EOF
# 构建自定义模型
ollama create my-assistant -f Modelfile
# 运行
ollama run my-assistant六、常见问题（FAQ）
Q1：下载模型很慢？
A：Ollama 默认从 registry.ollama.ai 拉取，国内可设代理 export OLLAMA_NATIVE=1 或使用 ModelScope 下载 GGUF 后通过 Modelfile FROM 本地文件导入。
Q2：显存不够，模型自动 offload 到内存变慢？
A：用 ollama run qwen2.5:3b 选更小量化版本，或在 Modelfile 中设 PARAMETER num_gpu 20 限制 GPU 层数。
Q3：如何对接 Open WebUI？
A：启动 Open WebUI 容器时加 --add-host=host.docker.internal:host-gateway -e OLLAMA_BASE_URL=http://host.docker.internal:11434。
Q4：Windows 下 NVIDIA 显卡跑不起来？
A：确保显卡驱动 ≥ 550，且在 BIOS 中启用了 Resizable BAR；WSL2 中需安装 WSL 版 CUDA 驱动。
Q5：模型存在哪个目录？
A：Linux 在 /usr/share/ollama/.ollama/models；macOS 在 ~/.ollama/models；Docker 挂载卷即数据目录。
七、跳转链接
- GitHub 仓库：https://github.com/ollama/ollama
- 官方网站：https://ollama.com
- 模型库：https://ollama.com/library
- Docker 镜像：https://hub.docker.com/r/ollama/ollama
- 官方文档：docs 目录