vLLM 的替代品

4 个可以替代 vLLM 的软件，1 个可完全替代、2 个部分替代，1 个在国内不能直接访问、归在最后，vLLM 本身在国内不能直接访问，国内可直接用的排在前面。费用、登录、平台与可访问性都是本站实测或从官网核对的。

vLLM

github.com

开源的大语言模型推理与服务引擎，用 PagedAttention 管理 KV 缓存显存，支持连续批处理与多种量化格式，并提供兼容 OpenAI 的 API 服务端，适合手里有显卡、想把开源模型部署成接口服务的人。

工具免费Linux · Windows · macOS英文开源国内不可直接访问

查看详情打开官网

对比

条目	费用	登录	平台	国内可直接访问	一句
Xinference	有免费版	—	Linux · Windows · macOS	待检测	同为开源推理服务平台，统一跑 LLM 与多模态，兼容 OpenAI 接口，可本地或云端部署
Shimmy	免费	—	Windows · macOS · Linux	待检测	替代轻量本地推理服务这一块：纯 Rust 加载 GGUF 并对外提供 OpenAI 接口，规模与并行能力有限
Ollama	有免费版	可选登录	macOS · Windows · Linux · 网页	可以	替代本地跑模型这一块：一条命令拉取运行，上手简单，但缺少 PagedAttention 级的高吞吐服务能力
llama.cpp	免费	不用登录	Windows · macOS · Linux	不可以	替代推理引擎这一块：CPU+GPU 混合推理与量化更轻量，但高并发服务与批处理调度弱于 vLLM

详细介绍

可完全替代 1

Xinference有免费版 Xorbits 推出的开源 AI 模型推理平台，在本地或云端统一跑 LLM、嵌入、多模态、语音和视频模型，提供兼容 OpenAI 的 API 并支持注册自定义权重，适合要在私有环境里跑多个模型、不想逐个适配接口的开发者。同为开源推理服务平台，统一跑 LLM 与多模态，兼容 OpenAI 接口，可本地或云端部署

部分替代 2

Shimmy免费 纯 Rust 写的本地推理服务器与命令行工具，通过 WebGPU 调用显卡、直接加载 GGUF 模型文件，对外提供 OpenAI 兼容接口，适合已在用 OpenAI 接口、想把请求地址改到本机的开发者。替代轻量本地推理服务这一块：纯 Rust 加载 GGUF 并对外提供 OpenAI 接口，规模与并行能力有限 Ollama有免费版可选登录国内可直接访问 开源的本地大模型运行工具，一条命令拉取并跑起各类开放模型，提示词不存储、不用于训练，也能按 token 调用云端模型，适合开发者在自己的机器上试模型、写本地 AI 应用原型。替代本地跑模型这一块：一条命令拉取运行，上手简单，但缺少 PagedAttention 级的高吞吐服务能力

国内不可直接访问 1

llama.cpp免费不用登录国内不可直接访问 用 C/C++ 实现的本地大语言模型推理引擎，支持 1.5 到 8 位整数量化和 CPU+GPU 混合推理，适合开发者在自己的机器上离线跑 GGUF 模型或给应用接本地推理后端。替代推理引擎这一块：CPU+GPU 混合推理与量化更轻量，但高并发服务与批处理调度弱于 vLLM

还有：SGLang、TensorRT-LLM、Text Generation Inference（未收录）

更新于 11 月 8 日 · 报告问题