Loading...

文章背景图

AnythingLLM:本地私有知识库 RAG 应用(All-in-One)|部署与使用全指南

2026-10-25
4
- 字
- 分钟
|

AnythingLLM —— 本地私有知识库 RAG 应用(All-in-One)

适配场景:Windows 10/11 + WSL2(Ubuntu 24.04)本地部署;RTX 3070 8GB / RTX 4090 24GB 均可使用。AnythingLLM 把 LLM 接入、文档解析、向量检索、工作区、Agent 工具与多用户管理打包在一个应用内,桌面版开箱即用,Docker 版支持多用户与嵌入网页聊天组件。

项目定位与基本信息

  • 一句话定位:Mintplex Labs 出品的 All-in-One 本地优先 AI 应用(官方 README 原文:"The all-in-one AI app you were looking for. Chat with your docs, use AI Agents, hyper-configurable, multi-user, & no frustrating setup required.";另一句:"runs locally by default with zero setup friction"),支持商用与开源 LLM、向量数据库与嵌入模型,可在本机或服务器上自托管,提供私有知识库 RAG、工作区对话、Agent 技能与第三方数据连接器。
  • 开源许可:MIT License。
  • 出处 1:官方仓库 LICENSE 文件(https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/LICENSE ,已下载核验,"The MIT License, Copyright (c) Mintplex Labs Inc.")。
  • 出处 2:官方 README 徽章 "license: MIT"(https://github.com/Mintplex-Labs/anything-llm )与 README 末尾 "This project is MIT licensed" 一节。
  • 官方 GitHub 仓库:https://github.com/Mintplex-Labs/anything-llm
  • 官方官网:https://anythingllm.com/ (产品介绍与下载入口,HTTP 200 已核验)。
  • 官方文档站:https://docs.anythingllm.com/ (安装、provider、向量库、Agent、排障等全部官方说明;本站对 curl 有 Cloudflare 拦截,本章文档内容均通过 web.fetch 实际打开核验)。
  • 官方下载页:https://anythingllm.com/download (桌面版一键下载入口,当前页标注版本 v1.18.0,HTTP 200 已核验)。
  • 版本说明:截至 2026-10-25,官方最新 release 为 v1.18.0(发布时间 2026-10-13 16:15 UTC,来源:https://github.com/Mintplex-Labs/anything-llm/releases/tag/v1.18.0 );Docker Hub 官方镜像 mintplexlabs/anythingllm:latest 于 2026-10-23 更新(来源:https://hub.docker.com/r/mintplexlabs/anythingllm )。

官方图片

两张图均来自官方渠道:Logo 取自官方 GitHub 仓库 images/wordmark.png;界面图取自官方 README 内嵌演示 GIF(release v1.11.2 资源)第 8 秒帧,用 ffmpeg 转为 PNG。未使用 AI 生成图或非官方截图;已用 file 命令核验为 PNG 且体积大于 20KB。界面图对应 v1.11.2 版本,与当前 v1.18.0 界面细节可能存在差异。

图 10-1 AnythingLLM 官方品牌标识(wordmark)

AnythingLLM 官方横向品牌标识,深色文字与图标

  • 来源 URL:https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/images/wordmark.png
  • 下载方式:curl -L -o 10_anythingllm_logo.png "https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/images/wordmark.png"
  • 核验:file 显示 PNG image data, 800 x 200, 8-bit/color RGBA,体积 21,380 字节(>20KB)。

图 10-2 AnythingLLM 桌面端主界面(官方 README 演示 GIF 截帧)

AnythingLLM 主界面:左侧 My Workspace 工作区与线程列表,中间为文档问答内容与 Sources 引用入口,底部输入框带 Tools 工具按钮

  • 来源 URL:https://github.com/Mintplex-Labs/anything-llm/releases/download/v1.11.2/AnythingLLM720p.gif (官方 README 第 45 行内嵌演示 GIF,31,147,746 字节,GIF 1240×720,HTTP 200 已核验)
  • 下载与转码方式: bash curl -L -o anythingllm_demo.gif "https://github.com/Mintplex-Labs/anything-llm/releases/download/v1.11.2/AnythingLLM720p.gif" ffmpeg -y -ss 8 -i anythingllm_demo.gif -frames:v 1 10_anythingllm_ui.png
  • 核验:file 显示 PNG image data, 1240 x 720, 8-bit/color RGBA,体积 118,709 字节(>20KB)。

环境要求

说明:AnythingLLM 应用本体很轻量(官方裸机 / Docker 指南最低 2GB RAM、建议 10GB 磁盘);内存、显存与磁盘需求主要由你选择的本地 LLM、嵌入模型与文档规模决定。下表区分"应用本体最低要求"与"本地跑模型的推荐配置"。

项目 要求 / 说明 官方依据
操作系统(桌面版) Windows 10+(Home、Professional,x86_64 与 ARM64 均有安装包);官方目标系统为 Windows 11;建议使用 Windows 用户账户安装,Enterprise / Server 版本可能无法正常工作;macOS(Apple Silicon + Intel)、Linux 另有原生构建。 https://docs.anythingllm.com/installation-desktop/windows ;https://anythingllm.com/download
操作系统(Docker / 源码) 任意可运行 Docker 的主机(Windows 上为 Docker Desktop + WSL2 backend);源码方式需 NodeJS v18 与 Yarn。 https://docs.anythingllm.com/installation-docker/overview ;https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/BARE_METAL.md
CPU Docker 最低 2 核;硬性要求:x86 CPU 必须支持 AVX2 指令集(默认向量库 LanceDB 基于 Intel Haswell(2013)基线编译;不支持时容器启动或首次聊天即 Illegal instruction (core dumped),多见于老硬件、部分云实例族、vCPU 屏蔽指令集的 Proxmox / QEMU-KVM 虚拟机)。Docker 镜像提供 amd64 与 arm64 两种架构。 https://docs.anythingllm.com/installation-docker/system-requirements (CPU instruction set requirements 一节);https://docs.anythingllm.com/installation-docker/local-docker (Illegal instruction 一节);https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/docker/HOW_TO_USE_DOCKER.md
GPU 与显存 桌面版内置 LLM(Lemonade + llama.cpp):Windows 上推荐 NVIDIA / AMD(或 NPU)GPU,8–12GB+ VRAM 可获得较好的本地 LLM 体验;GPU 依赖在安装时自动下载,缺失时 UI 会告警并回退 CPU。Docker 官方功能矩阵标注 "Built-in LLM provider" 仅桌面版可用(Docker ❌);仓库 Docker 指南另记载可选 ENABLE_BUILT_IN_LLM=true(NVIDIA CUDA;AMD / Intel Vulkan 仅 Linux),口径随版本可能变化,Docker 建议对接外部 Ollama / 云端 API。仅对接外部 Ollama / 云端 API 时不需要本机 GPU。 https://docs.anythingllm.com/installation-desktop/system-requirements ;https://docs.anythingllm.com/installation-docker/overview (功能矩阵);https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/docker/HOW_TO_USE_DOCKER.md (Built-in LLM engine / GPU acceleration 一节);https://docs.anythingllm.com/installation-desktop/windows
内存(应用本体) Docker / 裸机最低建议 2GB RAM;官方 Docker 系统要求页给出的最低体验配置为 2GB RAM、2 核 CPU、5GB 存储。桌面版官方推荐 16GB RAM、8 核 CPU(本地跑模型场景);使用云端 LLM 时需求显著降低。 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/docker/HOW_TO_USE_DOCKER.md (Minimum Requirements);https://docs.anythingllm.com/installation-docker/system-requirements ;https://docs.anythingllm.com/installation-desktop/system-requirements
磁盘空间 Docker / 裸机官方建议最少 10GB(文档、向量、模型按实际规模增长);Docker 系统要求页最低 5GB;桌面版存储占用随本地模型大小而定。 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/docker/HOW_TO_USE_DOCKER.md ;https://docs.anythingllm.com/installation-docker/system-requirements ;https://docs.anythingllm.com/installation-desktop/system-requirements
依赖(Docker 方式) Docker Engine 或 Docker Desktop(WSL2 backend);无需 Node.js。 https://docs.anythingllm.com/installation-docker/local-docker
依赖(源码方式) NodeJS v18、Yarn;生产模式需分别运行 server 与 collector 两个进程并先构建前端。官方明确:裸机 / 非容器化部署不受核心团队支持,问题不予答复。 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/BARE_METAL.md
默认组件 默认向量库 LanceDB(本地文件,无需额外服务);默认嵌入器为内置 native 引擎,模型 Xenova/all-MiniLM-L6-v2(CPU 本地向量化,ONNX 量化版,输出 384 维向量);默认 Whisper 本地、TTS / STT 为 native。 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/server/.env.example ;https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/server/storage/models/README.md ;https://docs.anythingllm.com/features/embedding-models ;https://docs.anythingllm.com/installation-docker/system-requirements

最详细部署步骤(Windows 与 WSL2 两种视角,精确命令)

三条路径任选:A. 桌面版(Windows 本机,最省事,单用户);B. Docker(WSL2 / Linux 服务器,支持多用户与网页组件);C. 源码(Node 18 + Yarn,供二次开发,官方不提供支持)。

路径 A:Windows 桌面版(推荐个人自用)

A-1 下载安装包
  1. 打开官方下载页 https://anythingllm.com/download ,选择 Download for Windows (x64) 或 Download for Windows (ARM);页面当前版本为 v1.18.0。
  2. 也可直接从 GitHub Releases 下载对应安装包(已核验 HTTP 200): - x64:https://github.com/Mintplex-Labs/anything-llm/releases/download/v1.18.0/AnythingLLMDesktop.exe - ARM64:https://github.com/Mintplex-Labs/anything-llm/releases/download/v1.18.0/AnythingLLMDesktop-Arm64.exe
A-2 安装要点(官方 Windows 文档)
  • 仅为当前用户安装:官方不推荐 "All users" 安装,会导致应用异常且不受支持;安装时选择 Current User only。
  • 安装目录:%LOCALAPPDATA%\Programs\AnythingLLM;用户数据目录:%APPDATA%\anythingllm-desktop(工作区、文档、向量库、聊天记录、下载的模型均在此目录)。
  • 首次启动可能需要 1–2 分钟(内置引擎与 GPU 依赖初始化),后续启动接近秒开。
  • 内置本地 LLM 由 Lemonade + llama.cpp 驱动;NVIDIA / AMD / NPU 的 GPU 依赖在安装过程中自动下载。
  • 静默安装(v1.16.1+,脚本化部署用):

powershell # 静默安装,跳过约 2GB 的会议助手模型下载 .\AnythingLLMDesktop.exe /S # 静默安装并下载会议助手转写模型 .\AnythingLLMDesktop.exe /S /DOWNLOAD_MODEL=yes

静默卸载(保留数据):"$env:LOCALAPPDATA\Programs\AnythingLLM\Uninstall AnythingLLM.exe" /S;加 /DELETE_DATA=yes 会删除整个 %APPDATA%\anythingllm-desktop 目录且不可恢复。 依据:https://docs.anythingllm.com/installation-desktop/windows (Silent / headless installation 一节)。

A-3 启动与验证

双击桌面 "AnythingLLM" 图标启动;桌面版为原生应用,没有独立 Web 后台(后端仅监听 127.0.0.1,浏览器直接访问该端口不会得到完整界面)。无需注册账号、无需邮箱验证、无需 API Key 即可进入单用户界面。

路径 B:Docker 部署(WSL2 Ubuntu 24.04 / Linux 云服务器)

B-1 依赖安装(Windows 视角)
  1. 安装 Docker Desktop for Windows,勾选 WSL2 backend;Settings → Resources → WSL Integration 勾选默认 Ubuntu 24.04 发行版并保存重启。
  2. 建议全程在 WSL2 Ubuntu 终端执行 docker 命令,避免在 PowerShell / CMD 中操作,减少挂载卷路径不一致导致的问题(Docker Desktop + WSL2 通用实践)。
B-2 拉取镜像并启动(官方命令)

说明:官方 HOW_TO_USE_DOCKER.md 原命令带 --rm(容器退出即删除);本章去掉 --rm 并显式 --name anythingllm,便于后续 docker start / stop 管理,功能等价。

Linux / macOS / WSL2(bash):

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
  --cap-add SYS_ADMIN \
  --name anythingllm \
  -v ${STORAGE_LOCATION}:/app/server/storage \
  -v ${STORAGE_LOCATION}/.env:/app/server/.env \
  -e STORAGE_DIR="/app/server/storage" \
  mintplexlabs/anythingllm:latest

Windows PowerShell(官方 HOW_TO_USE_DOCKER.md Windows 块;本章同样去掉 --rm、加 --name anythingllm,功能等价):

$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"
If(!(Test-Path $env:STORAGE_LOCATION)) { New-Item $env:STORAGE_LOCATION -ItemType Directory }
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) { New-Item "$env:STORAGE_LOCATION\.env" -ItemType File }
docker run -d -p 3001:3001 `
  --cap-add SYS_ADMIN `
  --name anythingllm `
  -v "$env:STORAGE_LOCATION`:/app/server/storage" `
  -v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
  -e STORAGE_DIR="/app/server/storage" `
  mintplexlabs/anythingllm

命令参数对照(官方文档与 server/.env.example):

参数 作用(官方说明)
-p 3001:3001 本机 3001 端口映射到容器内 3001(SERVER_PORT=3001,见 .env.example 第 1 行)。
--cap-add SYS_ADMIN 给内置 Chromium 页面抓取能力所需的 Linux capability;若不做网页抓取,也可改用环境变量 ANYTHINGLLM_CHROMIUM_ARGS="--no-sandbox,--disable-setuid-sandbox" 替代(.env.example 第 537 行注释)。
-v ${STORAGE_LOCATION}:/app/server/storage 必须挂载的数据目录:数据库、文档、向量库、模型缓存全部在此;官方 WARNING:不挂载该卷,容器重启后数据全部丢失。
-v ${STORAGE_LOCATION}/.env:/app/server/.env 把宿主机 .env 挂进容器,便于在宿主机上持久化修改配置。
-e STORAGE_DIR="/app/server/storage" 容器内存储绝对路径(无尾部斜杠)。
mintplexlabs/anythingllm:latest 默认 SQLite 应用数据库;PostgreSQL 变体使用官方 mintplexlabs/anythingllm:pg 镜像(Docker Hub 标签列表已核验存在 pg 标签),通过 DATABASE_URL 连接外部 PostgreSQL。官方 Quickstart 要求该 PostgreSQL 库预先安装 PGVector 扩展(见下方变体命令说明)。

关于 Docker 内置 LLM(口径说明):官方 Docker / 桌面功能矩阵中 "Built-in LLM provider" 为 桌面版 ✅、Docker ❌;仓库 docker/HOW_TO_USE_DOCKER.md 另记载可选环境变量 ENABLE_BUILT_IN_LLM=true(引擎 Lemonade + llama.cpp;NVIDIA 走 CUDA,AMD / Intel 走 Vulkan 且仅 Linux,无 GPU 回退 CPU)。两份官方材料口径随版本可能变化,Docker 场景建议直接对接外部 Ollama 实例或云端 LLM 接口,不依赖内置 LLM。

PostgreSQL 变体(官方 Quickstart pg 镜像命令):按官方 Quickstart 要求,先启动一个运行中的 PostgreSQL 数据库并在该库中安装 PGVector 扩展,再使用 :pg 镜像启动;下面为示例命令,连接串中的主机、账号、密码、库名按实际实例替换(172.17.0.1 为 Linux Docker 访问宿主机的示例地址;完整命令块以官方 Quickstart 页面为准):

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
  --cap-add SYS_ADMIN \
  -v ${STORAGE_LOCATION}:/app/server/storage \
  -v ${STORAGE_LOCATION}/.env:/app/server/.env \
  -e STORAGE_DIR="/app/server/storage" \
  -e DATABASE_URL="postgresql://dbuser:dbpassword@172.17.0.1:5432/dbname" \
  mintplexlabs/anythingllm:pg
B-3 模型 / 依赖下载
  • 本地 LLM(推荐对接本机 Ollama):先在宿主机安装 Ollama 并 ollama pull qwen2.5:7b(示例模型,按显存选择);AnythingLLM 首次启动会自动探测官方列出的 Ollama 地址(见 10.5.2)。
  • 默认嵌入模型:内置 native 引擎使用 Xenova/all-MiniLM-L6-v2 的 ONNX 量化版(源自 Hugging Face,CPU 本地向量化,输出 384 维向量);首次使用时下载到存储目录下的 models/Xenova 子目录并缓存(官方排障文档说明),模型说明见 server/storage/models/README.md。
  • 国内网络说明:官方 README 说明即使关闭遥测,应用仍会访问 cdn.anythingllm.com 从官方镜像 CDN 拉取模型(该 CDN 不做遥测统计,对 VPN 受限地区反而有用);嵌入模型来源为 Hugging Face 体系,若下载失败可改用 Ollama 嵌入引擎(EMBEDDING_ENGINE='ollama' + nomic-embed-text)规避,配置见 10.4.2 B-4 配置表。官方文档未提供第三方镜像站地址,本章不编造。
B-4 关键配置项总表(来源:官方 server/.env.example 与文档站)
配置项 默认值 说明
SERVER_PORT 3001 服务监听端口(容器内)。
JWT_SECRET 示例默认 my-random-string-for-seeding 会话签名密钥,生产环境替换为至少 12 位随机串。
SIG_KEY 示例默认 passphrase 文档签名密钥,至少 32 位随机串。
SIG_SALT 示例默认 salt 文档签名盐值,至少 32 位随机串。
STORAGE_DIR —(生产必填,绝对路径无尾部斜杠) 数据目录,Docker 内固定为 /app/server/storage。
LLM_PROVIDER 空(界面选择持久化后写入) LLM 供应商;可选 ollama、openai、anthropic、lmstudio、generic-openai、gemini、deepseek 等数十种(清单见 .env.example 第 10–203 行)。
OLLAMA_BASE_PATH 示例 http://host.docker.internal:11434 Ollama 服务地址(Docker Windows/Mac);Linux 用 http://172.17.0.1:11434。
OLLAMA_MODEL_PREF 示例 llama2 Ollama 默认模型名。
OLLAMA_MODEL_TOKEN_LIMIT 4096 模型上下文令牌上限。
OLLAMA_AUTH_TOKEN 空 Ollama 挂在认证代理后时填写 Bearer Token(可选)。
OLLAMA_RESPONSE_TIMEOUT 注释:默认 5 分钟;注释示例值 7200000(毫秒) Ollama 响应最长等待毫秒数,超时中断。
EMBEDDING_ENGINE native 嵌入引擎;可选 ollama、openai、azure、cohere、voyageai、generic-openai、lmstudio、localai、litellm、gemini、openrouter、lemonade 等。
EMBEDDING_MODEL_PREF Xenova/all-MiniLM-L6-v2 嵌入模型名;Ollama 嵌入示例 nomic-embed-text:latest。
EMBEDDING_MODEL_MAX_CHUNK_LENGTH 视引擎而定(示例 1000 / 8192 字符) 单段送入嵌入模型的最大字符数。
VECTOR_DB lancedb 向量库;可选 chroma、chromacloud、pinecone、astra、pgvector、weaviate、qdrant、milvus、zilliz。
WHISPER_PROVIDER local 语音转写;可选 openai、generic-openai。
TTS_PROVIDER native 语音合成;可选 openai、elevenlabs、generic-openai、kokoro。
STT_PROVIDER native 服务端语音识别;可选 openai、lemonade、deepgram、generic-openai、groq。
COLLECTOR_PORT 8888 文档解析采集器(collector)监听端口;进程分离部署时须与服务端配置一致。
ENABLE_BUILT_IN_LLM 未设置 仓库 Docker 指南记载的可选开关;官方功能矩阵标注内置 LLM 为桌面版能力,Docker 场景建议对接外部 Ollama / 云端 API(口径见 10.3 GPU 行与 10.4.2 B-2 说明)。
DISABLE_TELEMETRY 未设置(开启收集匿名使用信息) 置 "true" 关闭遥测;也可在应用侧边栏 Privacy 中关闭(README Telemetry & Privacy 一节)。
AGENT_MAX_TOOL_CALLS 10(.env.example 注释示例值) 单轮响应中 Agent 最多链式调用工具次数,防止低端模型无限递归。
AGENT_SKILL_RERANKER_ENABLED 默认开启(Intelligent Tool Selection,官方文档说明) 工具重排序(按提示词只保留最相关工具),每轮对话最高节省约 80% token,代价是每轮额外 100–500ms 重排序开销;AGENT_SKILL_RERANKER_TOP_N 默认保留 15 个;可在 Settings → Agent Skills 面板关闭。
AGENT_AUTO_APPROVED_SKILLS 空 逗号分隔、无需交互确认即可自动调用的技能,如 create-pdf-file,create-word-file。
数据卷(Docker) /app/server/storage + /app/server/.env 必须挂载,否则容器重建后数据库、文档、向量库、配置全部丢失。
B-5 启动与验证
docker logs -f anythingllm     # 观察启动日志,无报错后访问页面

浏览器访问 http://localhost:3001 即进入应用。

路径 C:源码部署(Node 18 + Yarn,二次开发用)

官方警告:该方式不受核心团队支持,部署安全与数据由使用者自负;以下步骤全部来自官方 BARE_METAL.md。

C-1 依赖安装(WSL2 Ubuntu 24.04)

官方 BARE_METAL.md 硬性要求 NodeJS v18 与 Yarn(未给出具体安装命令;Ubuntu 24.04 仓库默认 Node 版本并非 v18,需自行通过 nvm / NodeSource 等方式安装 v18,再安装 Yarn):

# 前置:本机已具备 NodeJS v18(node --version 应为 v18.x)与 Yarn
yarn --version

说明:以下源码步骤全部来自官方 BARE_METAL.md;官方同时声明裸机 / 非容器化部署不受核心团队支持。

C-2 拉取源码与初始化
git clone git@github.com:Mintplex-Labs/anything-llm.git
cd anything-llm
yarn setup                                   # 安装生产与调试全部依赖
cp server/.env.example server/.env          # 生成基础配置文件

编辑 server/.env,至少设置:

STORAGE_DIR="/your/absolute/path/to/server/storage"

编辑 frontend/.env,把 VITE_API_BASE 设为 /api(非 localhost 地址 / Docker / 源码生产模式使用):

VITE_API_BASE='/api'
C-3 构建前端、迁移数据库、启动进程
# 1. 构建前端
cd frontend && yarn build
# 2. 把构建产物交给 server 提供静态服务
cp -R frontend/dist server/public
# 3. 生成 Prisma 客户端并迁移数据库
cd server
npx prisma generate --schema=./prisma/schema.prisma
npx prisma migrate deploy --schema=./prisma/schema.prisma
# 4. 分别启动 server 与 collector 两个生产进程
cd server && NODE_ENV=production node index.js &
cd collector && NODE_ENV=production node index.js &
C-4 验证

浏览器访问 http://localhost:3001。更新流程:git pull origin master → 重复 C-3 构建、迁移、重启步骤;重启前先 pkill node,避免多进程冲突(官方 BARE_METAL.md 更新说明)。

使用方法

启动方式速查

部署方式 启动 / 访问 账号模式
Windows 桌面版 双击桌面图标,原生窗口运行;无独立 Web 后台 单用户,无需注册
Docker(SQLite) docker start anythingllm,浏览器 http://localhost:3001 默认单用户;可在设置中开启多用户并创建首个管理员
Docker(pg) 同上,mintplexlabs/anythingllm:pg 变体通过 DATABASE_URL 连接外部 PostgreSQL;官方 Quickstart 要求该库预装 PGVector 扩展 同上
源码 server 与 collector 双进程,http://localhost:3001 同上

界面操作步骤

  1. 进入实例 - 桌面版:直接进入,无登录页。 - Docker 单用户模式:可在设置中打开 "Password Protect Instance" 设置实例密码;知道密码即可使用全部功能、查看所有会话。 - Docker 多用户模式:在设置中打开 "Enable multi-user mode",填写用户名密码创建首个管理员账号(Admin,拥有全系统权限);此后登出并以该账号登录。注意:一旦切换到多用户模式,无法回退到单用户模式。角色分三级:Admin(全量权限)、Manager(可查看所有工作区并管理属性,但不能改 LLM / 嵌入器 / 向量库设置)、Default(只能被加入指定工作区聊天)。 - 依据:https://docs.anythingllm.com/features/security-and-access 。
  2. 连接 LLM 供应商 - 点击左下角 Settings(齿轮)→ AI Providers → LLM。 - 本地 Ollama:桌面版与 Docker 版都会自动探测以下地址,探测不到时在界面手动填写:
    • http://127.0.0.1:11434(桌面版 / 本机进程)
    • http://host.docker.internal:11434(Docker on Windows / macOS)
    • http://172.17.0.1:11434(Docker on Linux)
    • 也可选择 OpenAI、Anthropic、Gemini、DeepSeek、Generic OpenAI、LM Studio、Lemonade、Foundry Local 等供应商,填写 Base URL / API Key / 模型名后保存;系统默认模型之外,单个工作区可在工作区设置里另选模型。
    • 验证 Ollama 是否在跑:浏览器先打开 http://127.0.0.1:11434,应看到 "Ollama is running";ollama run <模型名> 不会启动 API 服务,需保证 ollama serve 在运行。
    • 依据:https://docs.anythingllm.com/ollama-connection-troubleshooting ;https://docs.anythingllm.com/features/language-models 。
  3. 配置嵌入器与向量库 - Settings → AI Providers → Embedder:默认 Built-in(native)Xenova/all-MiniLM-L6-v2,CPU 本地向量化;文档量大时可切换 Ollama / OpenAI / Cohere 等外部嵌入器。 - Settings → AI Providers → Vector Database:默认 LanceDB(本地文件);可切换 Chroma、pgvector、Qdrant、Milvus 等。 - 依据:https://docs.anythingllm.com/features/embedding-models ;https://docs.anythingllm.com/features/vector-databases ;.env.example 第 206–351 行。
  4. 创建工作区与上传文档 - 左侧工作区栏点击 + New Workspace,命名(如 Blog-KB)并创建。 - 附加文档(Attach,全文注入):把文件拖进聊天窗口,或点输入框旁 +;文档作用域为当前工作区 + 当前线程,其他线程不可见;默认把全文插入上下文,上下文窗口不足时会弹出三选一:Cancel(移除文档)/ Continue Anyway(继续全文,超出部分会被自动裁剪,回答易失真,官方不推荐)/ Embed(转入 RAG 嵌入工作区)。 - 嵌入文档(Embed / RAG,推荐建知识库):上传后在文档管理中点 "Move into workspace";文档被切分为分片 → 嵌入模型向量化 → 存入向量库;嵌入后对工作区所有线程可用,多用户模式下对工作区内所有用户可用。 - 支持多种文档类型(README 原文:PDF、TXT、DOCX 等 Multiple document type support);内置网页 URL 抓取能力;各格式实际解析能力以采集器(collector)实现为准。 - 依据:https://docs.anythingllm.com/chatting-with-documents/introduction ;https://docs.anythingllm.com/chatting-with-documents/rag-in-anythingllm 。
  5. 调优 RAG 参数(工作区齿轮图标) - Search Preference (Reranking):仅 LanceDB 可用;默认搜索最相关分片;"Accuracy Optimized" 先取回更多分片再重排序,效果更好但慢约 100–500ms;重排序模型首次使用时下载一次。 - Max Context Snippets:送入 LLM 的相关分片数量;多数模型建议保持 4–6,大上下文模型可调高,过多噪声会误导回答。 - Document similarity threshold:过滤低相关分片;默认最低分数 20%;选项 No Restriction / Low(≥0.25)/ Medium(≥0.50)/ High(≥0.75)。出现幻觉或答非所问时先调到 No Restriction 排查。 - Document Pinning:已嵌入文档可固定为全文注入上下文,适合必须全文理解的关键文档;固定文档不参与 RAG 检索,避免重复注入。 - 依据:https://docs.anythingllm.com/chatting-with-documents/introduction (RAG settings 一节)。
  6. Agent 模式与工具 - 在输入框输入 @agent 切换到 Agent 模式,输入 exit 退出;新版工作区默认聊天模式为 Agent(v1.11.1 起),另有 Chat(普通对话)与 Query(单次问答)模式可切换。 - 内置能力(官方 ai-agents 文档描述):检索工作区知识库、抓取网站与联网浏览、列出与总结指定文档、生成图表、把结果文件保存到本地桌面,以及工作区长期记忆;各项能力在下方 Agent Skills 面板中逐项开关。 - Settings → Agent Skills 面板可逐项开关(官方下载页与文档截图中的内置技能):RAG & long-term memory、View & summarize documents、Scrape websites、File System Access、Document Creation、Generate charts、Web Search、SQL Connector;App Integrations 子项:Apple Notes、Gmail、Google Calendar、Outlook。面板中另有 Generate & save files to browser 等内置动作;支持 NodeJS 自定义 Skill 与 MCP 服务器接入(@agent 会话可自动使用已配置的技能、工具与 MCP)。 - 依据:https://anythingllm.com/download (官方下载页 Agent Skills 面板截图);https://docs.anythingllm.com/agent/custom/introduction ;https://docs.anythingllm.com/features/ai-agents ;https://docs.anythingllm.com/features/chat-modes ;https://docs.anythingllm.com/agent/intelligent-tool-selection ;https://docs.anythingllm.com/mcp-compatibility/overview (MCP 服务器接入)。

常用参数说明表

位置 参数 / 选项 说明
Workspace 设置 System Prompt 工作区系统提示词,全局默认提示词之外的补充。
Workspace 设置 Chat Mode Agent / Chat / Query 三种模式。
Workspace 设置 Search Preference 默认(直接检索最相关分片)/ Accuracy Optimized(先取回更多分片再重排序,仅 LanceDB)。
Workspace 设置 Max Context Snippets 送入模型的分片数,建议 4–6。
Workspace 设置 Similarity Threshold 分片相关度下限,默认 20%。
Workspace 设置 Document Pinning 关键文档全文固定注入上下文。
Settings → AI Providers → LLM Provider / Base URL / API Key / Model / Token Limit 系统级默认模型配置;工作区可覆盖。
Settings → AI Providers → Embedder Engine / Model / Max Chunk Length 嵌入模型与分片字符上限。
Agent Skills 工具逐项开关 控制 Agent 可调用的内置能力范围。
Agent @agent / exit 进入 / 退出 Agent 模式。
环境变量 AGENT_MAX_TOOL_CALLS 单轮最大工具链式调用次数。
环境变量 AGENT_AUTO_APPROVED_SKILLS 免确认自动执行的技能白名单。
环境变量 MEMORY_EXTRACTION_INTERVAL / MEMORY_IDLE_THRESHOLD_MS 记忆抽取后台任务周期与空闲阈值;工作区记忆上限 20 条,全局记忆上限 5 条。

端到端示例:把博客 Markdown / PDF 文章做成私有问答知识库

前置条件:Docker 实例运行于 http://localhost:3001 ;本机 Ollama 已 ollama pull qwen2.5:7b(按 3070 8GB 显存选合适量化版本;4090 24GB 可换更大模型)。

  1. 浏览器打开 http://localhost:3001 ;若开启多用户,用管理员账号登录。
  2. Settings → AI Providers → LLM 选 Ollama,地址 http://host.docker.internal:11434(Windows Docker)或 http://172.17.0.1:11434(Linux Docker),模型选 qwen2.5:7b,保存。
  3. 新建工作区 Blog-KB;点上传入口,把博客导出的 .md / .pdf 文章拖入;在文档列表中逐个 Move into workspace 完成嵌入(等待分片向量化完成)。
  4. 回到工作区对话,确认聊天模式为 Agent 或 Chat;先问一句 "请总结本工作区文档的主题分布" 验证知识库已挂载。
  5. 提问示例:"根据已上传的博客文章,列出 WSL2 下部署本地大模型的步骤要点,并注明引用了哪几篇文档。"
  6. 核验回答下方 Sources 引用片段;若模型答不到文档内容:先把 Similarity Threshold 调到 No Restriction 复测,再检查嵌入器是否为 Built-in 或 Ollama、文档是否已成功嵌入工作区、分片数是否被限制过低。

常见坑(现象 + 原因 + 解决)

  1. 现象:Docker 版 AnythingLLM 选 Ollama 后模型列表为空,对话报连接失败 / ECONNREFUSED。 - 原因:容器内 localhost / 127.0.0.1 / 0.0.0.0 指向容器自身,不是宿主机;这是 100% 出现率的 Docker 连接错误。 - 解决:Windows / macOS Docker 改用 http://host.docker.internal:11434;Linux Docker 改用 http://172.17.0.1:11434;远程 Ollama 直接填对方机器可达 IP 并放开防火墙。先在宿主机浏览器访问 http://127.0.0.1:11434 确认 Ollama 服务在运行。 - 依据:https://docs.anythingllm.com/ollama-connection-troubleshooting ;https://docs.anythingllm.com/installation-docker/localhost 。

  2. 现象:容器重启 / 升级后,工作区、文档、模型配置全部消失。 - 原因:docker run 遗漏 -v ${STORAGE_LOCATION}:/app/server/storage 数据卷挂载。 - 解决:严格使用 10.4.2 B-2 官方命令的两条 -v(存储目录 + .env);官方文档明确 WARNING:不挂载该卷,数据在容器重启时即丢失。 - 依据:https://docs.anythingllm.com/installation-docker/local-docker (Pull / Run 一节 WARNING)。

  3. 现象:容器启动后立即退出,日志结尾 Error: SQLite database error unable to open database file: ../storage/anythingllm.db。 - 原因:存储目录对容器内非特权用户(UID/GID 1000)不可写;常见于把 STORAGE_LOCATION 放在 /mnt、/data、/srv、/opt 等 root 拥有的顶层目录下。 - 解决:启动前把目录属主交给 1000:sudo chown -R 1000:1000 ${STORAGE_LOCATION},删除死亡容器后重新执行官方启动命令。不要用 chmod -R 777——旧 issue 里该做法会让数据库、文档与含 API Key 的 .env 对本机所有用户可读可写;源码自建镜像且改过 UID/GID 时,以 .env 中的实际数值为准。 - 依据:https://docs.anythingllm.com/installation-docker/local-docker (unable to open database file 一节)。

  4. 现象:容器启动或首次聊天时退出,日志结尾 /usr/local/bin/docker-entrypoint.sh: line 7: 115 Illegal instruction (core dumped) node /app/server/index.js。 - 原因:CPU 不支持 AVX2 指令集;默认向量库 LanceDB 基于 Intel Haswell(2013)基线编译,加载时直接杀进程。官方说明常见于老硬件、部分云实例族,以及 Proxmox / QEMU-KVM 等虚拟机中 hypervisor 把 AVX2 对客户机隐藏。 - 解决:① 在宿主 / 虚拟机内确认 CPU 是否暴露 AVX2(通用排查方式:lscpu 或 cat /proc/cpuinfo | grep flags | grep avx2;虚拟机需在 hypervisor 层把 CPU 直通为宿主类型后重启复测,具体选项随虚拟化平台不同);② 物理 CPU 确实不支持 AVX2 时,按官方建议改用其他受支持的向量数据库(在 .env 中将 VECTOR_DB 切到 Chroma / pgvector / Qdrant 等,LanceDB 不被选中即不会被加载);或换用支持 AVX2 的主机。 - 依据:https://docs.anythingllm.com/installation-docker/local-docker (Container exits with Illegal instruction 一节);https://docs.anythingllm.com/installation-docker/system-requirements (CPU instruction set requirements 一节);https://docs.anythingllm.com/fetch-failed-on-upload (Your CPU is not supported 一节)。

  5. 现象:docker run 后浏览器打不开页面,日志报 port is already allocated / 3001 被占用。 - 原因:本机 3001 端口已被其他程序(如其他容器、本地服务)占用(Docker 通用排障,非 AnythingLLM 专有问题)。 - 解决:修改发布端口左侧数字,如 -p 3002:3001,浏览器访问 http://localhost:3002;容器内 SERVER_PORT 保持 3001 不变。

  6. 现象:Windows 安装时报 "AnythingLLM cannot be closed",无法继续安装。 - 原因:① 旧版本仍在后台托盘运行(v1.11.0 起关闭窗口最小化到系统托盘);② 历史上曾按 "All users" 安装,残留需要管理员权限卸载的程序。 - 解决:托盘图标右键 "Quit AnythingLLM" 后点 Retry;第二种情况:右键桌面图标 → Open File Location → 运行 Uninstall AnythingLLM.exe(必要时以管理员身份运行),卸载后仅按 Current User 重装;上述操作不会删除数据与设置。 - 依据:https://docs.anythingllm.com/installation-desktop/windows (Troubleshooting 一节)。

  7. 现象:桌面版安装 / 升级时 "Failed to install/extract GPU support from CDN",内置模型只能跑 CPU。 - 原因:旧内置 Ollama 引擎从官方 CDN 拉取 GPU 支持文件时被网络 / 防火墙拦截;新版桌面内置引擎已切换为 Lemonade + llama.cpp,该旧问题仅针对遗留 Ollama 引擎。 - 解决:检查网络与防火墙后重启安装器;官方不建议手工修复该引擎(升级易破坏);推荐做法是单独安装 Ollama,再由 AnythingLLM 自动探测并对接外部 Ollama 实例,版本间更稳定。 - 依据:https://docs.anythingllm.com/installation-desktop/windows (Failed to install/extract GPU support from CDN 一节)。

  8. 补充说明(上传文件大小):官方 server/.env.example 未提供独立的单文件上传大小限制环境变量;采集器(collector)源码 collector/index.js 中 FILE_LIMIT = "3GB" 为请求体上限(bodyParser.text/json/urlencoded 均按此值限制)。实际可用的单文件上限还受模型上下文窗口、分片策略与浏览器上传链路约束;超大文档建议先在本地拆分或转成纯文本再上传。 - 依据:https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/server/.env.example ;https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/collector/index.js (第 21、37–40 行)。

本节来源清单

# URL 用途 验证方式
1 https://github.com/Mintplex-Labs/anything-llm 仓库主页、README(功能清单、MIT 徽章、遥测说明、提供商清单) curl -I HTTP 200(2026-10-25 实测)
2 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/README.md README 原始文本(定位、功能、提供商、向量库、许可声明) curl -sL 下载成功,本地通读
3 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/LICENSE MIT 许可原文(Copyright Mintplex Labs Inc.) curl -sL 下载成功,本地通读
4 https://anythingllm.com/ 官方官网 curl -I HTTP 200
5 https://anythingllm.com/download 桌面版下载页(v1.18.0,Windows x64 / ARM 入口) curl -I HTTP 200;web.fetch 实际打开核验版本号与按钮文案
6 https://docs.anythingllm.com/ 官方文档站首页 web.fetch 打开成功(Cloudflare 拦截 curl,故文档类页面均以 web.fetch 为准)
7 https://docs.anythingllm.com/installation-desktop/overview 桌面版定位、后端仅监听 127.0.0.1、功能矩阵(桌面 vs Docker) web.fetch 实际打开通读
8 https://docs.anythingllm.com/installation-desktop/system-requirements 桌面推荐配置:16GB RAM、8 核 CPU、Windows GPU 8–12GB+ VRAM、存储随模型而定 web.fetch 实际打开通读
9 https://docs.anythingllm.com/installation-desktop/windows Windows 10+ x64/ARM64、仅当前用户安装、数据 / 安装目录、内置 Lemonade+llama.cpp、静默安装参数、托盘退出、CDN GPU 故障排障 web.fetch 实际打开通读
10 https://docs.anythingllm.com/installation-docker/overview Docker 定位、桌面版 / Docker 功能差异矩阵 web.fetch 实际打开通读
11 https://docs.anythingllm.com/installation-docker/local-docker Docker 拉取与启动命令、数据卷 WARNING、UID/GID 1000、AVX2 崩溃与数据库文件无法打开排障 web.fetch 实际打开通读
12 https://docs.anythingllm.com/installation-docker/quickstart pg 镜像启动命令说明(官方要求先准备运行中的 PostgreSQL 并安装 PGVector 扩展)、UID/GID 1000 默认值说明 web.fetch 实际打开通读
13 https://docs.anythingllm.com/installation-docker/system-requirements 最低 2GB RAM / 2 核 / 5GB、CPU 指令集(AVX2)硬性要求一节、默认嵌入器 CPU 本地向量化 web.fetch 实际打开通读
14 https://docs.anythingllm.com/installation-docker/localhost Docker 内 localhost/127.0.0.1/0.0.0.0 不可用;Win/Mac 用 host.docker.internal、Linux 用 172.17.0.1;PostgreSQL / Ollama / Chroma / LM Studio 示例 web.fetch 实际打开通读
15 https://docs.anythingllm.com/ollama-connection-troubleshooting Ollama 自动探测地址清单、127.0.0.1:11434 存活检查、Docker 地址替换规则、远程 Ollama 说明 web.fetch 实际打开通读
16 https://docs.anythingllm.com/features/language-models 本地 / 云端 LLM 供应商清单(Built-in、Ollama、LM Studio、OpenAI、Anthropic、DeepSeek、Generic OpenAI 等) web.fetch 实际打开通读
17 https://docs.anythingllm.com/features/embedding-models 本地 / 云端嵌入器供应商清单,默认 Built-in web.fetch 实际打开通读
18 https://docs.anythingllm.com/features/vector-databases 向量数据库支持矩阵与默认 LanceDB 说明 web.fetch 实际打开通读
19 https://docs.anythingllm.com/features/ai-agents @agent 进入 / exit 退出、Agent 工具能力描述(抓取网站、列出与总结文档、联网搜索、生成图表、保存文件到桌面、工作区记忆) web.fetch 实际打开通读
20 https://docs.anythingllm.com/features/security-and-access 单用户 / 多用户模式、首个管理员创建、Admin/Manager/Default 角色、多用户不可回退、实例密码保护(Docker 限定) web.fetch 实际打开通读
21 https://docs.anythingllm.com/features/chat-modes Agent / Chat / Query 聊天模式说明 web.fetch 实际打开通读
22 https://docs.anythingllm.com/features/memories 工作区记忆 20 条 / 全局记忆 5 条、记忆注入规则、MEMORY_EXTRACTION_INTERVAL / MEMORY_IDLE_THRESHOLD_MS web.fetch 实际打开通读
23 https://docs.anythingllm.com/chatting-with-documents/introduction 附加 vs 嵌入、上下文溢出三选一、RAG 设置(重排序、Max Context Snippets、Similarity Threshold 默认 20%、Document Pinning) web.fetch 实际打开通读(页面标注适用 1.8.5+)
24 https://docs.anythingllm.com/chatting-with-documents/rag-in-anythingllm RAG 工作流:上传→移入工作区→分片→嵌入→向量库→检索 4–6 分片→注入 System message(页面标注为 legacy 说明) web.fetch 实际打开通读
25 https://docs.anythingllm.com/agent/custom/introduction 自定义 Agent Skill(NodeJS)、Agent Skills 设置面板与内置能力开关清单 web.fetch 实际打开通读
26 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/docker/HOW_TO_USE_DOCKER.md 官方 Docker 部署指南:最低 2GB RAM / 10GB 磁盘、Windows PowerShell 启动命令、compose 示例、UID/GID、内置 LLM 引擎(Lemonade + llama.cpp)与 GPU 后端矩阵(NVIDIA CUDA / AMD-Intel Vulkan Linux) curl -sL 下载成功,本地通读
27 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/BARE_METAL.md 源码部署:NodeJS v18、Yarn、yarn setup、前端构建、Prisma 迁移、server + collector 双进程;官方不支持裸机部署声明 curl -sL 下载成功,本地通读全文
28 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/server/.env.example 环境变量默认值与选项(SERVER_PORT、VECTOR_DB=lancedb、EMBEDDING_ENGINE=native、嵌入模型、Ollama 配置、Whisper/TTS/STT、collector 端口、Agent 开关等) curl -sL 下载成功(598 行),本地通读
29 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/collector/index.js 采集器 FILE_LIMIT="3GB" 请求体上限源码依据 curl -sL 下载成功,定位第 21、37–40 行
30 https://github.com/Mintplex-Labs/anything-llm/releases/tag/v1.18.0 最新 release 版本号与发布时间(2026-10-13 16:15 UTC) curl -sL 解析页面 datetime;页面 HTTP 200
31 https://github.com/Mintplex-Labs/anything-llm/releases/download/v1.18.0/AnythingLLMDesktop.exe Windows x64 安装包直链 curl -I HTTP 200
32 https://github.com/Mintplex-Labs/anything-llm/releases/download/v1.18.0/AnythingLLMDesktop-Arm64.exe Windows ARM64 安装包直链 curl -I HTTP 200
33 https://hub.docker.com/r/mintplexlabs/anythingllm 官方 Docker Hub 镜像仓库 curl -I HTTP 200;Hub API 核验 latest 标签更新于 2026-10-23
34 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2 默认嵌入模型对应的 sentence-transformers 原始模型(RAG 文档引用链接) curl -I HTTP 200
35 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/images/wordmark.png 图 10-1 官方 Logo 原始文件 curl -sL 下载(21,380 字节),file 核验 PNG 800×200;源 URL HTTP 200
36 https://github.com/Mintplex-Labs/anything-llm/releases/download/v1.11.2/AnythingLLM720p.gif 图 10-2 官方 README 演示 GIF 原始资源(31,147,746 字节,1240×720) curl -sL 下载成功(HTTP 200);ffmpeg 取第 8 秒帧转为 PNG,file 核验 118,709 字节 PNG 1240×720
37 https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/server/storage/models/README.md 内置 native 嵌入器 Xenova/all-MiniLM-L6-v2(ONNX 量化版、384 维向量)、内置模型存储目录说明 curl -sL 下载成功,本地通读
38 https://docs.anythingllm.com/agent/intelligent-tool-selection Intelligent Tool Selection(默认开启、最高节省约 80% token、每轮 100–500ms 重排序开销、AGENT_SKILL_RERANKER_TOP_N 取前 N 个工具) web.fetch 实际打开通读
39 https://docs.anythingllm.com/fetch-failed-on-upload 嵌入失败排障:默认嵌入模型需联网下载、CPU 不支持 AVX2 时改用其他向量库、Windows VC++ 运行库 web.fetch 实际打开通读
40 https://docs.anythingllm.com/mcp-compatibility/overview MCP 服务器接入:anythingllm_mcp_servers.json 配置、StdIO / SSE / Streamable 传输、MCP 管理 UI web.fetch 实际打开通读

待验证 / 未写死项说明: - 官方文档未给出容器内单文件上传的独立大小限制环境变量;10.6 第 8 条已明确标注该事实与源码请求体上限 3GB 的区别。 - 桌面版默认内置模型清单、版本随发布迭代;本章仅引用官方文档确认的引擎组合(Lemonade + llama.cpp),未罗列具体模型版本号。 - https://docs.anythingllm.com 对命令行 curl 返回 Cloudflare 403,文档类条目均通过 web.fetch 实际打开核验;GitHub 与官网类条目通过 curl 状态码与原文下载核验。

评论交流

文章目录