llama.cpp
用 C/C++ 实现的本地大语言模型推理引擎，支持 1.5 到 8 位整数量化和 CPU+GPU 混合推理，适合开发者在自己的机器上离线跑 GGUF 模型或给应用接本地推理后端。
llama.cpp 是一个用 C/C++ 实现的大语言模型推理引擎，底层建立在 ggml 库上。它要解决的问题很直接：让模型在普通电脑上跑起来，不必依赖云端 API，也不用装一堆框架。项目主页把目标写成「以最少的配置、在尽可能多的硬件上做 LLM 和 VLM 推理」，本地和云端都算在内。
用起来的样子是命令行。装好之后，一条 llama cli -hf 命令就能从 Hugging Face 拉一个 GGUF 模型直接对话；换成 llama serve，则起一个兼容 OpenAI 接口的本地服务，自带网页界面，其他程序可以按 OpenAI 的格式调它。安装方式给了几种：curl 或 PowerShell 脚本、Docker、releases 页的预编译包，或者克隆仓库自己编译。
主要能力
纯 C/C++ 实现，不带外部依赖。量化是它的重点，支持 1.5 位到 8 位的整数量化，用来换更快的推理和更小的内存占用。硬件后端覆盖得比较宽：Apple 芯片走 ARM NEON、Accelerate 和 Metal；x86 有 AVX、AVX2、AVX512 和 AMX；RISC-V 也有对应指令集支持。GPU 方面有 NVIDIA 的 CUDA 内核、AMD 的 HIP、摩尔线程的 MUSA，另有 Vulkan 和 SYCL 后端。显存不够时可以做 CPU+GPU 混合推理，把放不下的部分留在内存里。
适合谁
主要是开发者和愿意折腾命令行的用户。想在自己机器上离线跑模型、给应用接一个本地推理后端、或者在不同硬件上对比量化效果，都能用上它。只想开箱聊天、不碰终端的人，用起来会偏麻烦。
费用与限制
仓库采用 MIT 许可证，代码可自由使用和修改。项目本身不收费，但模型要自己准备，跑不跑得动取决于你的内存和显存。仓库界面是英文，文档和 issue 也以英文为主。当前仓库有 133.7k stars、25.3k forks，累计 12,202 次提交。
常见问题
llama.cpp 收费吗？
用 llama.cpp 要登录吗？
llama.cpp 国内能访问吗？
llama.cpp 有哪些平台 / App？
llama.cpp 的替代品有哪些？
替代品 全部 3 个 →
Shimmy
纯 Rust 写的本地推理服务器与命令行工具，通过 WebGPU 调用显卡、直接加载 GGUF 模型文件，对外提供 OpenAI 兼容接口，适合已在用 OpenAI 接口、想把请求地址改到本机的开发者。替代本地推理服务这一块：直接加载 GGUF 并对外提供 OpenAI 接口，但用 Rust/WebGPU，硬件后端没 l
Ollama
开源的本地大模型运行工具，一条命令拉取并跑起各类开放模型，提示词不存储、不用于训练，也能按 token 调用云端模型，适合开发者在自己的机器上试模型、写本地 AI 应用原型。同样本地离线跑开源模型，一条命令拉取运行，省去手动准备 GGUF 和编译
vLLM
开源的大语言模型推理与服务引擎，用 PagedAttention 管理 KV 缓存显存，支持连续批处理与多种量化格式，并提供兼容 OpenAI 的 API 服务端，适合手里有显卡、想把开源模型部署成接口服务的人。替代推理服务这一块：面向 GPU 批量吞吐，量化格式和硬件覆盖不如 llama.cpp 宽，偏服务器场景