Ollama + Open WebUI + AnythingLLM：搭建私有AI知识库完整指南

📅 2026/6/7 ✍️ 小文 📖 约 1 分钟

手把手教你用Ollama、Open WebUI和AnythingLLM三步搭建企业级私有知识库，支持本地大模型+RAG检索，告别数据隐私担忧。

数据隐私是2026年企业AI落地最大的顾虑之一。好消息是，用开源工具搭建一个私有AI知识库已经变得非常简单。本文将介绍一套完整方案：Ollama + Open WebUI + AnythingLLM，让你的内部文档变成一个可智能检索的知识库。

整体架构

用户 → Open WebUI (界面) → Ollama (模型推理)
                          → AnythingLLM (RAG检索)
                               → 向量数据库
                                    → 本地文档

这套架构的好处是：所有组件都在本地运行，数据不出内网，完全隐私安全。

第一步：用Ollama部署本地模型

Ollama是目前最简单的本地模型管理工具，支持所有主流开源模型。

# 安装Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 拉取模型（推荐Qwen 4 7B，中文好且轻量）
ollama pull qwen4:7b

# 或者使用DeepSeek V4（推理能力更强）
ollama pull deepseek-v4:14b

Ollama支持4-bit量化，7B模型只需要4GB显存就能流畅运行，普通办公电脑完全够用。

第二步：Open WebUI搭建对话界面

Open WebUI（原Ollama WebUI）是Ollama的最佳搭档，提供类似ChatGPT的交互体验。

docker run -d --name open-webui \
  -p 3000:8080 \
  -v open-webui-data:/app/backend/data \
  --network host \
  ghcr.io/open-webui/open-webui:main

安装完成后，浏览器打开 http://localhost:3000。在设置中配置Ollama的地址（默认 http://localhost:11434），就能看到你拉取的模型了。

Open WebUI还支持：多模型切换、对话历史管理、Markdown渲染、代码高亮、文件上传等功能。

第三步：AnythingLLM搭建RAG知识库

AnythingLLM是2026年最受欢迎的本地RAG工具。它支持文档上传、向量化检索，且与Ollama无缝集成。

# 使用Docker部署
docker run -d --name anythingllm \
  -p 3001:3001 \
  -v anythingllm-data:/app/server/storage \
  -e STORAGE_DIR=/app/server/storage \
  -e OPENAI_BASE_URL=http://host.docker.internal:11434/v1 \
  -e OPENAI_KEY=ollama \
  mintplexlabs/anythingllm

配置步骤：

  1. 访问 http://localhost:3001，创建管理员账户
  2. 在”AI Provider”中选择Ollama，选择你拉取的模型
  3. 在”Embedding Provider”中选择本地向量模型（推荐 BAAI/bge-small-zh-v1.5）
  4. 创建工作区，上传你的文档

AnythingLLM支持PDF、Word、TXT、Markdown等多种格式，会自动将文档切分、嵌入并存储到向量数据库中。

第四步：实战测试

上传一份公司的产品手册（PDF格式），然后问你的知识库：

“我们公司有哪些产品线？每个产品线的定价方案是什么？”

系统会自动检索相关文档片段，结合大模型的推理能力，给出带引用的精准回答。如果回答不满意，你可以调整文档的切片大小（chunk size）和检索数量（top K），通常chunk size设为500-1000字符，top K设为3-5效果最佳。

进阶玩法

  • 多知识库：为不同部门创建独立工作区
  • 网络搜索增强：AnythingLLM支持接入SearXNG做联网搜索
  • 权限管理：Open WebUI支持多用户和API Key
  • 高可用部署：用Docker Compose编排，支持Redis缓存

硬件建议

场景最低配置推荐配置
个人试用8GB RAM + 4GB VRAM16GB RAM + 8GB VRAM
团队使用（5-10人）16GB RAM + 8GB VRAM32GB RAM + 16GB VRAM
企业级（50人+）32GB RAM + 16GB VRAM64GB RAM + 24GB VRAM

私有AI知识库不再是技术极客的专利。上述三件套全部开源免费，一个下午就能搭建完成。当你的团队拥有一个24小时在线、永不疲倦、数据不出内网的AI知识助手时，你会发现信息查询效率的提升远超预期。

🏷️ #RAG#Ollama#知识库#本地部署#教程
📤 分享到