vLLM

vLLM 是一个用来跑大语言模型的推理和服务引擎，解决的是「模型下载下来之后怎么高效地对外提供服务」这件事。它最初在加州大学伯克利分校的 Sky Computing Lab 开发，现在由来自两千多名贡献者的社区维护，仓库采用 Apache-2.0 许可。你可以把它理解成模型和业务程序之间的一层：模型权重交给它，它负责把请求排好队、算得快、显存别爆。

主要功能

核心是 PagedAttention，把注意力计算里的 key/value 缓存像操作系统分页那样管理，减少显存碎片；配合连续批处理、chunked prefill 和前缀缓存，让多个请求挤在同一张卡上跑。它支持 FP8、INT8/INT4、GPTQ/AWQ、GGUF 等多种量化格式，也集成了 FlashAttention、FlashInfer 等注意力内核，以及投机解码（n-gram、EAGLE 等）。

使用层面，它能直接加载 Hugging Face 上的模型，提供兼容 OpenAI 的 API 服务端，另外还支持 Anthropic Messages API 和 gRPC；流式输出、结构化输出（xgrammar、guidance）、工具调用解析、多 LoRA 都在支持范围内。分布式推理方面有张量并行、流水线并行、数据并行、专家并行和上下文并行几种切法。

硬件与适合谁

官方说明支持 NVIDIA、AMD、Intel 的 GPU 以及 x86/ARM/PowerPC CPU，另有 Google TPU、Intel Gaudi、华为昇腾、Apple Silicon 等硬件插件。适合手里有显卡、想把开源模型部署成接口服务的人，以及需要做批量推理、多模型切换或微调模型托管的团队。只想聊天试用模型的普通用户不是它的目标对象，它没有图形界面，要写代码或起服务。

费用与限制

项目本身开源免费，仓库里没有付费版本的信息。它需要自己准备运行环境和硬件，显存不够时得靠量化或并行来凑；具体支持哪些模型、哪些卡，以官方文档的兼容列表为准。