10-25 AI大模型 若琳学习 Qwen3 系列(官方 GGUF 量化版):阿里开源大模型本地一键部署|部署与使用全指南 Qwen3 系列(官方 GGUF 量化版)—— 阿里开源稠密 + MoE 大模型,本地一键可跑 适用环境:Windows 10/11 原生、Windows 10/11 + WSL2(Ubuntu 24.04)、RTX 3070 8GB / RTX 4090 24GB、Linux 云服务器;运行方式以 9 0 0
10-25 AI大模型 llama.cpp:纯 C/C++ 高效本地大模型推理引擎|部署与使用全指南 llama.cpp(llama-server / llama-cli / llama-quantize)—— 纯 C/C++ 的高效本地 LLM 推理引擎 适用环境:Windows 10/11 原生、Windows 10/11 + WSL2(Ubuntu 24.04)、NVIDIA RTX 3070 3
10-25 AI大模型 Ollama:本地运行开源大模型的极简利器|部署与使用全指南 Ollama —— 一条命令在本地一键运行开源大模型 适用环境:Windows 10/11 原生、Windows 10/11 + WSL2(Ubuntu 24.04)、带 NVIDIA RTX 3070 8GB / RTX 4090 24GB,或 Linux 云服务器。 信息口径:本章所有命令、路径 5
10-25 AI大模型 若琳学习 MiniMax H3:全能多模态音视频生成模型 · 本地部署与使用最全指南 MiniMax H3:全能多模态音视频生成模型 · 本地部署与使用最全指南 一句话定位:MiniMax H3 是 MiniMax 于 2026 年 8 月 3 日开源的通用全模态(omni-modal)生成系统——一次生成同时产出视频 + 同步立体声音频,原生支持最高 2K 分辨率、最长 15 秒, 17 0 0
10-25 AI大模型 若琳学习 Open WebUI:本地 AI 一站式对话平台|部署与使用全指南 Open WebUI:本地 AI 一站式对话平台|部署与使用全指南 把 Ollama、OpenAI 兼容接口里的模型接到一个开箱即用的网页界面,多用户、知识库、模型管理、对话分享一站搞定。 项目 信息 官方仓库 open-webui/open-webui 官方文档 docs.openwebui.co 3 0 0
10-25 AI大模型 若琳学习 vLLM:高吞吐 LLM 推理服务引擎|部署与使用全指南 vLLM:高吞吐 LLM 推理服务引擎|部署与使用全指南 基于 PagedAttention 与连续批处理,把单张 GPU 的大模型并发吞吐拉满,自带 OpenAI 兼容接口,是生产环境部署 LLM 服务的主流选择。 项目 信息 官方仓库 vllm-project/vllm 官方文档 docs.vl 1 0 0
10-25 AI大模型 若琳学习 AnythingLLM:本地优先的 AI 知识库助手|部署与使用全指南 AnythingLLM:本地优先的 AI 知识库助手|部署与使用全指南 把本地文档、笔记、网页喂给大模型,在自己电脑上搭一个带引用来源的私有 ChatGPT:桌面版开箱即用,Docker 版支持多用户与白标。 项目 信息 官方仓库 Mintplex-Labs/anything-llm 官方文档 do 1 0 0
10-25 AI大模型 若琳学习 llama.cpp:纯 C++ 大模型推理引擎|编译、量化与部署全指南 llama.cpp:纯 C++ 大模型推理引擎|编译、量化与部署全指南 用纯 C/C++ 写出的轻量推理底座,不依赖 Python 运行时,在 CPU、独显、Apple Silicon 甚至浏览器里都能把 GGUF 大模型跑起来。 项目 信息 官方仓库 ggml-org/llama.cpp 官方文档 2 0 0
10-25 AI大模型 若琳学习 Ollama:本地运行大模型的极简利器|部署与使用全指南 Ollama:本地运行大模型的极简利器|部署与使用全指南 一条命令装好、开箱即用,把 Llama、Qwen、DeepSeek、Gemma 等开源大模型跑在自己的电脑上,数据完全本地化。 项目 信息 官方仓库 ollama/ollama 官方文档 docs.ollama.com 官网 ollama.c 14 0 0
10-25 AI大模型 若琳学习 FreeLLMAPI 部署指南|免费 LLM 聚合路由网关本地部署与多客户端接入手册 FreeLLMAPI 是本地优先的免费 LLM 聚合路由网关:统一多家提供方与数百个模型端点到 OpenAI 兼容 /v1 接口,内置智能路由、自动回退、密钥加密与用量面板;覆盖一键脚本、Compose、源码与桌面应用部署及主流智能体接入。 49 0 0