Text Generation Inference 的替代品

7 个可以替代 Text Generation Inference 的软件,5 个可完全替代、2 个部分替代,2 个在国内不能直接访问、归在最后。费用、登录、平台与可访问性都是本站实测或从官网核对的。

对比

条目费用登录国内访问一句
vLLM完全Linux · Windows · macOS 免费 不用登录 可以 同为开源 LLM 推理服务引擎,PagedAttention 管显存、连续批处理与量化都覆盖,官方也建议新项目迁到它
Xinference完全Linux · Windows · macOS 有免费版 — 可以 同样兼容 OpenAI API,但一个平台还能跑嵌入、多模态和语音模型,不只 LLM。
SGLang完全Linux · macOS · Windows 免费 不用登录 可以 同样自托管 GPU 服务,内置请求路由,但配置和运维方式与 TGI 不同。
TensorRT-LLM完全Linux · Windows 免费 不用登录 可以 同为 GPU 推理优化,英伟达专用 kernel 更快,但只面向 NVIDIA 且需自己写运行时代码。
Caffe部分Linux · macOS 免费 — 可以 替代模型部署这一块:配置文件定义网络、GPU 训练 CPU 部署,但面向视觉研究而非 LLM 推理。
Hugging Face Inference Endpoints完全网页 — 要登录 不可以 不用自己管 GPU,Hub 模型一键部署成 API,但失去自托管和量化调优的自由。
TextGen部分Windows · macOS · Linux 免费 不用登录 不可以 替代本地起服务这一块:桌面应用带界面和兼容 API,但没有张量并行和 Prometheus 指标。

按需求挑

免费的 Text Generation Inference 替代品6 个

vLLM、Xinference(有免费版)、SGLang、TensorRT-LLM、Caffe、TextGen

开源的 Text Generation Inference 替代品6 个

vLLM、Xinference、SGLang、TensorRT-LLM、Caffe、TextGen

更新于 11 月 22 日 · 报告问题

看档案打开官网