把文档变成能对话的“第二大脑”：AnythingLLM 本地私有部署

为什么不直接把文件丢给网页版大模型

网页版大模型单次对话塞不下你几百页的文档，而且反复上传敏感资料有泄露风险。AnythingLLM 能本地运行，把 PDF/Word/网页一次性吃进去建索引，之后像聊天一样问，回答还带着原文出处，方便核对。

最快的装法：桌面版

官网下个安装包（Win/Mac/Linux 都有），双击装好就能用，默认全本地、零配置。想跑在服务器上给小团队共享，再用 Docker。

Docker 自托管（可选）

官方提供一键 compose，起好服务默认在 3001 端口。适合搭一个团队共享知识库。

# 拉仓库后用官方 docker-compose 起服务，默认端口 3001
docker compose up -d
# 浏览器打开
http://localhost:3001

三步用起来

  • Workspace 里拖进你的文档（PDF/TXT/DOCX/网页链接都行）。
  • 选一个模型：本地用 Ollama 的 qwen2.5，或接任何 OpenAI 兼容接口。
  • 直接问“第 3 章讲的退款流程是什么”，它会检索后带着引用回答。
文档/笔记切片建索引向量检索模型作答(带引用)
文档 → 切片索引 → 检索 → 带出处作答

几个踩过的坑

  • 默认嵌入模型是本地 LanceDB，资料多先确认磁盘够。
  • 问不出东西多半是文档没真正“吃”进去，看 workspace 里文件状态是不是 indexed。
  • 想换中文更顺的回答，把模型换成 qwen2.5 系列比默认的强。
省事做法：先装桌面版，拖三份文档进去问一句，能答上来就算跑通，别一上来就折腾 Docker。