AnythingLLM：本地优先的 AI 知识库助手｜部署与使用全指南

把本地文档、笔记、网页喂给大模型，在自己电脑上搭一个带引用来源的私有 ChatGPT：桌面版开箱即用，Docker 版支持多用户与白标。

▲ 图 0：AnythingLLM 官方文字 Logo（官方 Logo）

项目简介

AnythingLLM 是 Mintplex Labs 推出的开源 AI 知识库应用，定位是"本地优先的私有 ChatGPT"：你可以把 PDF、Word、TXT、网页等资料导入工作区（Workspace），由内置文档管道解析、切块并写入向量库，再让大模型基于这些资料回答问题，并给出可点击的引用来源。截至 2026 年 10 月 25 日，仓库已收获约 6.75 万 star（67,526）、7,577 个 fork，是个人搭建私有知识库、企业内部文档问答最常被推荐的开源方案之一。

它支持两种工作模式：一种是接入云端或第三方大模型 API（OpenAI、Anthropic、Gemini、DeepSeek、OpenRouter 等，也兼容任意 OpenAI 接口规范的服务）；另一种是纯本地推理，内置由 Lemonade 与 llama.cpp 驱动的本地模型引擎，CPU 即可运行，有 NVIDIA 显卡走 CUDA 加速，AMD / Intel 显卡走 Vulkan 加速，全程不把文档上传到外部服务。

部署路径同样分两条：普通用户直接下载 macOS、Windows、Linux 桌面安装包，双击即用；需要多用户协作、品牌定制（白标）或把聊天挂件嵌入自己网站时，使用 Docker 版本部署到服务器。

核心能力与特性

• Workspace 知识库隔离：每个工作区独立挂载文档、对话历史与模型配置，可按项目、客户或主题分别管理，互不串扰。
• 完整 RAG 文档管道：内置文档解析与切块流程，支持 PDF、TXT、DOCX 等多种格式，上传后自动向量化，问答时给出引用来源与原文片段。
• 双模型模式：既可接入 OpenAI 兼容 API、Ollama、LM Studio 等外部推理服务，也可开启内置 Lemonade + llama.cpp 本地引擎直接跑开源模型。
• 内置向量库：默认使用 LanceDB 作为向量存储，开箱即用；也可切换 PGVector、Chroma、Qdrant、Weaviate、Milvus、Pinecone 等外部向量库。
• AI Agent 与工具：工作区内可挂载联网搜索、自定义工具与无代码 Agent 流程，支持 MCP 兼容接入，模型可按需调用工具完成复杂任务。
• 记忆与定时任务：支持自动与用户手动管理的长期记忆，可按 cron 计划定时执行重复任务或提示词。
• 桌面版与 Docker 版双形态：桌面版面向个人单机使用；多用户权限、白标主题、网站嵌入式聊天挂件仅 Docker 版本提供。
• 开放开发者 API：实例对外提供完整 REST API，方便把知识库问答集成到自己的应用或自动化流程中。

▲ 图 1：AnythingLLM 工作区文档问答演示，回答下方附引用来源（官方演示动图）

硬件与系统要求

AnythingLLM 本体很轻，资源占用主要取决于你是否在本地跑大模型：

补充说明：macOS 上的 Docker Desktop 本地引擎只能使用 CPU 推理；Windows Docker Desktop 上 AMD / Intel 显卡同样仅 CPU 可用；Linux 主机对 NVIDIA、AMD、Intel 三类显卡的加速支持最完整。

完整部署方式

环境准备

桌面版无需额外环境，下载安装包即可运行；Docker 版需要先在主机上安装 Docker Engine 与 Docker Compose 插件，确认服务正常启动：

# 确认 Docker 与 Compose 可用
docker --version
docker compose version

方式一：桌面安装包（个人单机推荐）

前往官网下载页或 GitHub Releases 页面，选择对应平台的安装包（macOS、Windows、Linux）下载安装：

• 官网下载入口：anythingllm.com
• GitHub Releases：github.com/Mintplex-Labs/anything-llm/releases

安装完成后启动应用，首次打开会引导你创建管理员账号并选择模型提供商，后续所有数据保存在本机用户目录下。

方式二：Docker 单容器部署（服务器推荐）

官方镜像为 mintplexlabs/anythingllm，默认监听 3001 端口。先拉取镜像：

# 拉取最新镜像（支持 amd64 与 arm64 架构）
docker pull mintplexlabs/anythingllm

Linux / macOS 下挂载本地存储目录并启动容器：

# 准备本地存储目录与空环境变量文件
export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d --rm -p 3001:3001 \
  --cap-add SYS_ADMIN \
  -v ${STORAGE_LOCATION}:/app/server/storage \
  -v ${STORAGE_LOCATION}/.env:/app/server/.env \
  -e STORAGE_DIR="/app/server/storage" \
  mintplexlabs/anythingllm

Windows PowerShell 对应命令：

$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) { New-Item $env:STORAGE_LOCATION -ItemType Directory }; `
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) { New-Item "$env:STORAGE_LOCATION\.env" -ItemType File }; `
docker run -d --rm -p 3001:3001 `
  --cap-add SYS_ADMIN `
  -v "$env:STORAGE_LOCATION`:/app/server/storage" `
  -v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
  -e STORAGE_DIR="/app/server/storage" `
  mintplexlabs/anythingllm

方式三：Docker Compose 部署（含默认 LanceDB 向量库）

在项目目录创建 docker-compose.yml，默认向量库即为 LanceDB，无需额外启动向量数据库容器：

version: '3.8'
services:
  anythingllm:
    image: mintplexlabs/anythingllm
    container_name: anythingllm
    ports:
      - "3001:3001"
    cap_add:
      - SYS_ADMIN
    environment:
      # 数据存储目录（容器内路径，勿改动）
      - STORAGE_DIR=/app/server/storage
      # 请替换为 20 位以上随机字符串
      - JWT_SECRET="replace-with-a-long-random-secret-string"
      # 默认向量库：LanceDB
      - VECTOR_DB=lancedb
      # 关闭匿名遥测（可选）
      - DISABLE_TELEMETRY=false
    volumes:
      - anythingllm_storage:/app/server/storage
    restart: always

volumes:
  anythingllm_storage:

启动与查看日志：

# 后台启动服务
docker compose up -d

# 查看容器状态与启动日志
docker compose ps
docker compose logs -f anythingllm

方式四：开启内置本地模型引擎

默认情况下内置本地引擎处于关闭状态。设置环境变量 ENABLE_BUILT_IN_LLM=true 后，首次启动会把 Lemonade 引擎下载到存储目录的 engines/embedded-lemonade 下，模型文件保存在 models/embedded-lemonade 目录：

# CPU 模式（任意 amd64 / arm64 主机均可）
docker run -d -p 3001:3001 \
  --cap-add SYS_ADMIN \
  -v ${STORAGE_LOCATION}:/app/server/storage \
  -v ${STORAGE_LOCATION}/.env:/app/server/.env \
  -e STORAGE_DIR="/app/server/storage" \
  -e ENABLE_BUILT_IN_LLM=true \
  mintplexlabs/anythingllm

NVIDIA 显卡主机需先安装 NVIDIA Container Toolkit，再追加 --gpus all：

docker run -d -p 3001:3001 \
  --cap-add SYS_ADMIN \
  --gpus all \
  -v ${STORAGE_LOCATION}:/app/server/storage \
  -v ${STORAGE_LOCATION}/.env:/app/server/.env \
  -e STORAGE_DIR="/app/server/storage" \
  -e ENABLE_BUILT_IN_LLM=true \
  mintplexlabs/anythingllm

AMD / Intel 显卡主机挂载渲染设备并加入 render 组：

docker run -d -p 3001:3001 \
  --cap-add SYS_ADMIN \
  --device /dev/dri \
  --group-add $(getent group render | cut -d: -f3) \
  -v ${STORAGE_LOCATION}:/app/server/storage \
  -v ${STORAGE_LOCATION}/.env:/app/server/.env \
  -e STORAGE_DIR="/app/server/storage" \
  -e ENABLE_BUILT_IN_LLM=true \
  mintplexlabs/anythingllm

架构说明

官方仓库是一个 monorepo，运行时主要由两个 NodeJS 进程配合前端工作：server 是 NodeJS express 服务，负责模型调用、向量库管理与业务交互；collector 是另一个 NodeJS express 服务，专门负责从界面接收文档并完成解析、切块；frontend 为 Vite + React 前端界面。本地源码开发时需要分别启动这三个进程：

# 克隆仓库（进阶：从源码开发）
git clone https://github.com/Mintplex-Labs/anything-llm.git
cd anything-llm

# 填充各模块所需 .env 文件
yarn setup

# 分别启动服务端、前端与文档收集器
yarn dev:server
yarn dev:frontend
yarn dev:collector

使用方法

首次初始化与管理员账号

浏览器访问 http://localhost:3001（桌面版直接打开应用窗口），首次启动按引导创建管理员账号。管理员拥有实例最高权限，可在后台管理用户、模型提供商与全局设置。

选择模型提供商

进入侧边栏设置中的 AI Providers 页面选择大模型提供商，常见配置方式：

• 内置本地引擎：开启 ENABLE_BUILT_IN_LLM 后，在模型列表中选择并下载开源模型即可，无需填写任何 API Key。
• OpenAI 兼容 API：选择 OpenAI (Generic) 提供商，填写兼容服务的 Base URL、API Key 与模型名称，即可接入任意 OpenAI 接口规范的第三方服务。
• 本机 Ollama：桌面版直接填 http://127.0.0.1:11434；Docker 容器内访问宿主机服务需填 http://host.docker.internal:11434，Linux 主机可改用 http://172.17.0.1:11434。
• 其他提供商（Anthropic、Gemini、DeepSeek、OpenRouter、LM Studio、LocalAI 等）在同一页面按提示填入对应密钥与模型名即可。

创建工作区并上传文档

在左侧边栏点击新建工作区，命名后进入工作区页面：

• 把本地 PDF、DOCX、TXT 等文件拖拽到上传区域，或通过上传按钮选择文件。
• 等待文档解析、切块与向量化完成，文档会出现在工作区文档列表中。
• 可在工作区设置里调整检索数量、提示词模板与上下文拼接方式。

对话问答与引用来源

在底部输入框提问，模型会先从向量库检索相关文档片段，再基于片段组织回答。回答下方会显示 Sources（来源） 按钮，点击可查看引用的具体文档与段落，方便核对答案依据。

多用户与权限管理（Docker 版）

Docker 实例启动后，管理员可在后台邀请其他成员注册或加入实例，为不同用户分配角色与访问权限，控制每个成员可见的工作区与功能。白标主题定制、品牌色替换以及网站嵌入式聊天挂件同样仅在 Docker 版本中提供；挂件对应的独立仓库见官方链接表。

官方链接

常见问题（FAQ）

问：桌面版和 Docker 版功能一样吗？

核心的知识库、对话、文档上传与模型接入能力两者一致。区别在于：多用户实例与权限管理、白标主题定制、网站嵌入式聊天挂件仅 Docker 版本提供；桌面版面向个人单机使用，数据保存在本机。

问：没有云端 API Key 也能完整使用吗？

可以。开启内置本地模型引擎（ENABLE_BUILT_IN_LLM=true）后，应用会通过 Lemonade + llama.cpp 在本地运行开源模型，CPU 即可对话，有对应显卡时自动走 CUDA 或 Vulkan 加速，全程无需外部 API Key。

问：本地模型支持哪些显卡加速？

Linux 主机上 NVIDIA 显卡走 CUDA（建议 Turing / RTX 20 系及更新），AMD 与 Intel 显卡走 Vulkan；Windows Docker Desktop 仅支持 NVIDIA CUDA 加速；macOS Docker Desktop 本地引擎只能使用 CPU。未检测到可用显卡时自动回退到 CPU 推理。

问：文档、向量库和模型文件存在哪里？

Docker 版本全部保存在挂载的存储目录（默认 $HOME/anythingllm）下，文档、向量数据、本地模型与引擎都在该目录内；备份整个目录即可完成实例迁移。桌面版数据保存在当前用户的应用数据目录中。

问：为什么多用户、白标和聊天挂件在桌面版里找不到？

这些属于面向团队与站点部署的企业化能力，官方仅在 Docker 版本中提供。需要多人协作或对外嵌入聊天窗口时，请使用 Docker 部署到服务器。

问：支持哪些文档格式？

内置管道支持 PDF、TXT、DOCX 等常见文档格式，也支持网页链接抓取；具体格式清单与解析细节可查阅官方文档的文档说明章节。

许可证

AnythingLLM 仓库采用 MIT 许可证，允许自由使用、修改与商用，仅需在源码分发时保留原始版权声明与许可文本。需要注意：通过应用接入的各云端模型服务遵循其自身服务条款；本地运行的开源模型权重分别遵循各自许可证，商用前请以模型卡标注为准。