TensorRT-LLM 的替代品

5 个可以替代 TensorRT-LLM 的软件,3 个可完全替代、2 个部分替代。费用、登录、平台与可访问性都是本站实测或从官网核对的。

对比

条目费用登录国内访问一句
vLLM完全Linux · Windows · macOS 免费 不用登录 可以 同为开源 LLM 推理服务引擎,PagedAttention 管 KV 缓存,支持连续批处理与量化,N 卡上可直接换
SGLang完全Linux · macOS · Windows 免费 不用登录 可以 开源推理框架,内置请求调度,可部署 LLM 到 GPU 集群对外服务,覆盖压吞吐延迟的主场景
Text Generation Inference完全Linux · macOS · Windows 免费 不用登录 可以 同样能把模型部署成 API 服务,但支持更多 GPU 品牌,不绑死 N 卡,吞吐优化不如 TensorRT-LLM 深。
OpenLLM部分Linux · macOS · Windows 免费 不用登录 可以 替代自托管部署这一块:一条命令起 OpenAI 兼容接口,但底层优化深度不如专用 kernel
ONNX Runtime部分网页 · iOS · Android · Windows · macOS · Linux 免费 — 可以 替代跨平台推理执行这一块:支持多硬件后端,但 LLM 专用 kernel 与调度不如本条

还有人提到:TGI (Text Generation Inference)(本站还没收录)

按需求挑

免费的 TensorRT-LLM 替代品5 个

vLLM、SGLang、Text Generation Inference、OpenLLM、ONNX Runtime

开源的 TensorRT-LLM 替代品5 个

vLLM、SGLang、Text Generation Inference、OpenLLM、ONNX Runtime

更新于 11 月 22 日 · 报告问题

看档案打开官网