Text Generation Inference 的替代品
7 个可以替代 Text Generation Inference 的软件,5 个可完全替代、2 个部分替代,2 个在国内不能直接访问、归在最后。费用、登录、平台与可访问性都是本站实测或从官网核对的。
对比
| 条目 | 费用 | 登录 | 国内访问 | 一句 |
|---|---|---|---|---|
| 免费 | 不用登录 | 可以 | 同为开源 LLM 推理服务引擎,PagedAttention 管显存、连续批处理与量化都覆盖,官方也建议新项目迁到它 | |
| 有免费版 | — | 可以 | 同样兼容 OpenAI API,但一个平台还能跑嵌入、多模态和语音模型,不只 LLM。 | |
| 免费 | 不用登录 | 可以 | 同样自托管 GPU 服务,内置请求路由,但配置和运维方式与 TGI 不同。 | |
| 免费 | 不用登录 | 可以 | 同为 GPU 推理优化,英伟达专用 kernel 更快,但只面向 NVIDIA 且需自己写运行时代码。 | |
| 免费 | — | 可以 | 替代模型部署这一块:配置文件定义网络、GPU 训练 CPU 部署,但面向视觉研究而非 LLM 推理。 | |
| — | 要登录 | 不可以 | 不用自己管 GPU,Hub 模型一键部署成 API,但失去自托管和量化调优的自由。 | |
| 免费 | 不用登录 | 不可以 | 替代本地起服务这一块:桌面应用带界面和兼容 API,但没有张量并行和 Prometheus 指标。 |
按需求挑
免费的 Text Generation Inference 替代品6 个
vLLM、Xinference(有免费版)、SGLang、TensorRT-LLM、Caffe、TextGen