Ollama：本地运行大模型的极简利器｜部署与使用全指南

一条命令装好、开箱即用，把 Llama、Qwen、DeepSeek、Gemma 等开源大模型跑在自己的电脑上，数据完全本地化。

▲ 图 0：Ollama 官方羊驼 Logo（官方 Logo）

项目简介

Ollama 是目前最流行的本地大模型运行工具，它把"下载模型、管理模型、启动推理服务"这几件事压缩成了极简的几条命令。截至 2026 年 10 月 25 日，其 GitHub 仓库已收获约 18.4 万 star（184,687），是 AI 开源生态里当之无愧的明星项目。

它的核心设计理念是"像用 Docker 一样用大模型"：你想跑哪个模型，就 ollama pull 拉下来，然后 ollama run 直接对话；想要 API，它自带 OpenAI 兼容的 HTTP 接口；想让别人也能访问，一条环境变量即可开放局域网访问。从个人尝鲜到企业内网私有化部署，Ollama 都是最常见的底座之一，也是 Open WebUI、AnythingLLM、Dify 等众多 AI 工具的默认后端。

▲ 图 1：Ollama 官网社交分享封面，羊驼线条形象（官方封面）

核心能力与特性

• 极简安装与上手：macOS / Linux 一条 curl 命令完成安装，Windows 提供一键安装包，几分钟内即可开始对话。
• 海量模型一键拉取：官方模型库 ollama.com/library 收录 Llama、Qwen、DeepSeek、Gemma、Mistral、Phi 等主流开源模型，按 模型名:版本 精确拉取。
• 跨硬件推理：自动使用 NVIDIA CUDA、AMD ROCm、Apple Metal 加速；没有独显也能纯 CPU 运行，只是速度较慢。
• 量化支持：自动下载 4-bit 等量化版本，把显存/内存占用降到可用水平，普通消费级显卡也能跑 7B/8B 级模型。
• OpenAI 兼容 API：本地服务暴露 /v1 接口，Open WebUI、LangChain、Cursor 类工具可直接把地址指向它。
• 常驻服务与多模型管理：ollama serve 作为后台服务常驻，ollama list / ollama ps / ollama rm 管理已下载模型与运行状态。
• Docker 容器化：官方镜像支持一键容器部署，方便挂到服务器或编排进 docker-compose。
• 隐私与离线：推理完全在本地进行，不向任何云端发送对话内容，断网也能用。

硬件与系统要求

Ollama 本身非常轻量，真正的"门槛"来自你要跑的模型大小：

内存估算速记：参数量(G) × 0.6 GB ≈ 4-bit 量化所需内存，例如 7B 模型约 4-5 GB、14B 约 8-9 GB、70B 约 42 GB。显存不够时优先选更小的量化版本或更小参数量模型。

完整部署方式

方式一：macOS / Linux 一键脚本安装（推荐）

# 官方一键安装脚本（自动识别系统架构并配置）
curl -fsSL https://ollama.com/install.sh | sh

# 验证安装
ollama --version

# 安装完成后直接拉取并运行一个模型，首次会自动下载
ollama run llama3.1

方式二：Windows 安装

前往官网 ollama.com/download 下载 OllamaSetup.exe，双击安装即可；也可以使用包管理器：

winget install Ollama.Ollama

方式三：Docker 部署（适合服务器 / NAS）

# 后台运行，挂载数据卷，暴露默认端口 11434
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# 进入容器拉取模型
docker exec -it ollama ollama run llama3.1

方式四：源码构建（进阶，Go 环境）

git clone https://github.com/ollama/ollama.git
cd ollama
# 需要 Go 1.22+ 与 CMake 等构建工具
go generate ./...
go build .

服务配置（可选）

# 允许局域网内其他设备访问（默认仅本机 127.0.0.1）
export OLLAMA_HOST=0.0.0.0

# 指定模型保存目录（默认 ~/.ollama/models）
export OLLAMA_MODELS=/data/ollama/models

# 启动服务
ollama serve

使用方法

基础对话

# 拉取指定模型（不写版本默认 latest）
ollama pull qwen2.5:7b

# 直接进入交互式对话
ollama run qwen2.5:7b

# 一次性提问（管道输入）
echo "用一句话介绍你自己" | ollama run deepseek-r1:8b

# 列出已下载模型 / 当前运行中的模型
ollama list
ollama ps

模型管理

# 复制模型并自定义参数（temperature 等）
ollama cp llama3.1 llama3.1-custom
ollama show llama3.1

# 停止与删除
ollama stop llama3.1
ollama rm llama3.1

HTTP API 调用

# 生成接口
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "什么是 RAG？"
}'

# 对话接口（多轮）
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [
    {"role": "user", "content": "介绍一下丝绸之路"}
  ]
}'

# OpenAI 兼容接口（可用在任意 OpenAI SDK 客户端）
curl http://localhost:11434/v1/chat/completions -d '{
  "model": "qwen2.5:7b",
  "messages": [{"role": "user", "content": "你好"}]
}'

搭配 Web UI

本地模型搭配界面更顺手，官方生态里最常见的组合是 Open WebUI：

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

浏览器打开 http://localhost:3000，注册后把 Ollama 地址填为 http://host.docker.internal:11434 即可直连本地模型。

官方链接

常见问题（FAQ）

问：没有独立显卡能跑吗？ 能。Ollama 支持纯 CPU 推理，7B 量化模型在 8GB 内存的机器上可流畅对话，只是生成速度慢一些；有 NVIDIA 显卡或 Apple Silicon 会明显加速。

问：模型默认下载到哪里？怎么换位置？ 默认保存在 ~/.ollama/models。通过环境变量 OLLAMA_MODELS 指定新目录后重启 ollama serve 即可。

问：想让同一局域网的其他设备（手机、同事电脑）访问怎么办？ 把服务监听地址设为 0.0.0.0：export OLLAMA_HOST=0.0.0.0 后启动 ollama serve，其他设备访问 http://你的内网IP:11434。

问：中文效果好的模型推荐哪个？ Qwen 系列（qwen2.5、qwen3）和 DeepSeek 系列（deepseek-r1）中文能力突出，社区反馈良好，直接 ollama run qwen2.5:7b 即可。

问：显存不够怎么办？ 优先选择 4-bit 量化版本（如 qwen2.5:7b-q4_0），或改用更小参数量模型（3B / 1.5B / 0.6B）；也可以启用 CPU+GPU 混合推理。

问：Ollama 是 OpenAI API 兼容的吗？ 是的。本机 http://localhost:11434/v1 提供 OpenAI 兼容端点，多数 SDK 与第三方工具只需把 base_url 指过去即可。

许可证

Ollama 仓库采用 MIT 许可证，可自由使用、修改与商用。需要注意的是：通过 Ollama 拉取的各模型权重分别遵循其自身许可证（如 Llama 系列为 Meta 社区许可、Qwen 为 Apache 2.0、DeepSeek 为 MIT 等），商用前请以模型卡标注为准；Ollama 的羊驼形象为其品牌标识。