LocalGPT

LocalGPT 是一个跑在自己电脑上的文档问答平台。把 PDF、DOCX、HTML、Markdown 或 TXT 丢进去建索引，之后就能用自然语言提问、让它总结要点。整个流程在本机完成，文档和对话不上传，这是它最核心的卖点。

检索与模型

它不只是把文档切块做向量检索：混合搜索把向量匹配和 LanceDB 的全文检索合在一起，再用 cross-encoder 重排挑出最相关的片段；遇到不需要查文档的问题，路由器会直接让模型回答。生成模型通过 Ollama 换，嵌入模型可以用 HuggingFace 上的，也可以用 Ollama 的标签。模型下载一次后可重复使用。嵌入和重排会自动挑 CUDA、Apple MPS 或 CPU。

接口与部署

仓库里带 Docker 配置，也有 REST 网关（8000 端口）和 RAG API（8001 端口），方便接进自己的程序。RAG 核心是标准库写的 Python HTTP 服务，没有套 Web 框架，想改哪块就开哪块。扫描版 PDF 没有文字层时会走 OCR 兜底。

适合谁，要注意什么

适合手里有一堆资料、又不想把它们交给云端服务的人，比如律师、研究员、内部知识库维护者。代价是得自己装 Python 环境、拉模型、配 Docker，不是装完就能用的桌面软件；机器性能也直接决定速度。项目以 MIT 协议开源，界面为英文。