llama.cpp 的替代品

3 个可以替代 llama.cpp 的软件，1 个可完全替代、1 个部分替代，1 个在国内不能直接访问、归在最后，llama.cpp 本身在国内不能直接访问，国内可直接用的排在前面。费用、登录、平台与可访问性都是本站实测或从官网核对的。

llama.cpp

github.com

用 C/C++ 实现的本地大语言模型推理引擎，支持 1.5 到 8 位整数量化和 CPU+GPU 混合推理，适合开发者在自己的机器上离线跑 GGUF 模型或给应用接本地推理后端。

工具免费不用登录Windows · macOS · Linux英文开源国内不可直接访问

查看详情打开官网

对比

条目	费用	登录	平台	国内可直接访问	一句
Shimmy	免费	—	Windows · macOS · Linux	待检测	替代本地推理服务这一块：直接加载 GGUF 并对外提供 OpenAI 接口，但用 Rust/WebGPU，硬件后端没 l
Ollama	有免费版	可选登录	macOS · Windows · Linux · 网页	可以	同样本地离线跑开源模型，一条命令拉取运行，省去手动准备 GGUF 和编译
vLLM	免费	—	Linux · Windows · macOS	不可以	替代推理服务这一块：面向 GPU 批量吞吐，量化格式和硬件覆盖不如 llama.cpp 宽，偏服务器场景

详细介绍

可完全替代 1

Ollama有免费版可选登录国内可直接访问 开源的本地大模型运行工具，一条命令拉取并跑起各类开放模型，提示词不存储、不用于训练，也能按 token 调用云端模型，适合开发者在自己的机器上试模型、写本地 AI 应用原型。同样本地离线跑开源模型，一条命令拉取运行，省去手动准备 GGUF 和编译

部分替代 1

Shimmy免费 纯 Rust 写的本地推理服务器与命令行工具，通过 WebGPU 调用显卡、直接加载 GGUF 模型文件，对外提供 OpenAI 兼容接口，适合已在用 OpenAI 接口、想把请求地址改到本机的开发者。替代本地推理服务这一块：直接加载 GGUF 并对外提供 OpenAI 接口，但用 Rust/WebGPU，硬件后端没 l

国内不可直接访问 1

vLLM免费国内不可直接访问 开源的大语言模型推理与服务引擎，用 PagedAttention 管理 KV 缓存显存，支持连续批处理与多种量化格式，并提供兼容 OpenAI 的 API 服务端，适合手里有显卡、想把开源模型部署成接口服务的人。替代推理服务这一块：面向 GPU 批量吞吐，量化格式和硬件覆盖不如 llama.cpp 宽，偏服务器场景

还有：llamafile、text-generation-webui（未收录）

更新于 11 月 8 日 · 报告问题