本地AI知识库搭建教程：Ollama + AnythingLLM 实战指南

前言

AI知识库是目前企业和个人最常见的AI应用场景之一。通过RAG（检索增强生成）技术，我们可以让AI基于自己的文档来回答问题，数据全程留在本地，安全性有保障。

本文将介绍如何使用 Ollama + AnythingLLM 搭建本地AI知识库。

系统架构

┌─────────────────────────────────────────────────────────┐
│                    本地AI知识库架构                      │
├─────────────────────────────────────────────────────────┤
│                                                         │
│   文档 ──→ AnythingLLM ──→ 向量数据库 ──→ Ollama       │
│   (PDF/Word/TXT)    (嵌入)       (Chroma)    (LLM)     │
│                                                         │
└─────────────────────────────────────────────────────────┘

准备工作

硬件推荐

场景	内存	存储	适用模型
基础	16GB	50GB	DeepSeek-R1:7B
中级	32GB	100GB	DeepSeek-R1:14B
高级	64GB+	200GB+	DeepSeek-R1:32B

软件准备

Ollama - 模型运行引擎
AnythingLLM - 知识库管理工具
Docker - 容器运行时（可选）

安装步骤

1. 安装 Ollama

Windows/macOS：

# 访问 https://ollama.com/download 安装

# 验证安装
ollama --version

Linux：

curl -fsSL https://ollama.com/install.sh | sh

2. 下载模型

# 推荐使用DeepSeek-R1或Qwen2.5
ollama pull deepseek-r1:7b
ollama pull qwen2.5:7b

3. 安装 AnythingLLM

方式一：桌面端（推荐）

访问 AnythingLLM官网，下载对应系统的安装包。

方式二：Docker部署

docker pull mintplexlabs/anythingllm:latest

docker run -d -p 3001:3001 \
  -v anythingllm:/app/server/storage \
  -v mydocuments:/app/server/storage/anythingllm/embeddings \
  --name anythingllm \
  mintplexlabs/anythingllm:latest

配置知识库

1. 初始化 AnythingLLM

打开 AnythingLLM
首次启动会引导设置
选择本地 Ollama 作为 LLM Provider
选择嵌入模型（推荐：nomic-embed-text）

2. 创建工作区

点击 “Create New Workspace”
填写工作区名称（如"我的知识库"）
设置对话模式

3. 上传文档

支持的文档格式：

PDF
Word（.docx）
Excel（.xlsx）
TXT/Markdown
CSV

上传步骤：

点击工作区
点击 “Upload” 按钮
选择要上传的文档
等待嵌入处理完成

4. 配置LLM

在设置中选择：

LLM Provider: Ollama
Model: deepseek-r1:7b（或你下载的模型）
URL: http://localhost:11434
Embedding Model: nomic-embed-text

使用知识库

基础对话

在对话框中输入问题
系统会自动检索相关文档
生成基于文档的回答

引用来源

AnythingLLM 会自动显示引用的文档片段，点击可以查看原文。

多文档管理

可以为不同主题创建多个工作区，实现：

项目A知识库
产品文档知识库
个人笔记知识库

高级配置

自定义嵌入模型

# 下载 nomic-embed-text
ollama pull nomic-embed-text

更换大模型

# 可以尝试其他模型
ollama pull qwen2.5:14b
ollama pull llama3.1:8b

调整检索参数

在 AnythingLLM 设置中可以调整：

检索的文档数量
相关度阈值
Chunk大小

性能优化

内存优化

如果内存不足：

使用更小的模型（如1.5B）
启用量化版本（Q4_K_M）
减少同时加载的文档数量

响应速度

提升响应速度的方法：

使用本地SSD存储向量数据库
确保模型已完全加载到内存
关闭不必要的后台程序

应用场景

企业内部知识库

产品手册
员工手册
技术文档

个人知识管理

读书笔记
研究资料
写作素材

客服辅助

常见问题解答
产品知识问答

常见问题

文档上传失败

检查文件格式是否支持
确认文件没有密码保护
查看日志排查问题

回答不准确

增加相关文档
调整检索阈值
尝试更大的模型

运行卡顿

检查内存使用情况
关闭其他占用资源的程序
考虑升级硬件

总结

通过 Ollama + AnythingLLM 搭建本地AI知识库，整个过程不需要云服务，所有数据都保存在本地。既保证了数据安全，又降低了使用成本。

建议从7B模型开始体验，硬件允许的话可以升级到14B或32B模型，效果会更好。