PrivateGPT
开源的本地 AI 应用 API 层,提供带引用的 RAG、模仿 Claude 形态的工具调用与 MCP 连接,以及数据库和 CSV 的结构化查询,适合已在用 Ollama 的开发者在内网搭一套不依赖云 API 的后端。
4 次可以打开平均 3.0 秒11 月 22 日 起国内不可直接访问
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。PrivateGPT 是一个开源的 API 层,把本地运行的大模型变成可用的 AI 应用后端。它本身不跑模型,而是通过 OPENAI_API_BASE 连接任何兼容 OpenAI 接口的推理服务器(Ollama、llama.cpp、vLLM 等),只要对方实现了 /v1/chat/completions 和 /v1/models 就能接上。你要做的是在自己的机器或内网里跑一个模型服务,然后让 PrivateGPT 处理上层的事。
主要功能
它提供标准的 messages API,支持流式输出、异步调用和 token 计数。文件摄入之后可以做带引用的检索,也支持 agentic RAG。内置工具模仿 Claude API 的形态,包括网页搜索、网页抓取和代码执行;还可以接自定义工具和 MCP 连接器。结构化访问数据库和 CSV 也在范围内,另外有 embeddings 和编排能力。仓库里带一个 workbench UI,挂在 /ui 路径下,用来测试和演示,但按项目自己的说法,API 才是产品本身。
适合谁
适合需要把 AI 能力放在本地或私有环境里的开发者,尤其是已经在用 Ollama 这类推理服务器、不想依赖云 API 的团队。它面向的是要搭后端原语的人,不是直接打开就能聊天的终端产品。项目声明自己经过生产环境检验,支撑着 Zylon 的本地部署 AI 平台。
安装与限制
安装方式按平台分:macOS 用 Homebrew,Linux 和 Windows 用 uv 工具安装。跑起来之前得先有一个兼容 OpenAI 的 LLM 服务器,README 里拿 Ollama 举例,需要拉一个对话模型和一个 embedding 模型。启动时通过环境变量指定推理地址,然后访问本地端口打开 UI。界面语言是英文,采用 Apache-2.0 许可证。费用方面,项目本身开源,但模型和硬件成本要自己承担。
