TensorRT-LLM 的替代品
5 个可以替代 TensorRT-LLM 的软件,3 个可完全替代、2 个部分替代。费用、登录、平台与可访问性都是本站实测或从官网核对的。
对比
| 条目 | 费用 | 登录 | 国内访问 | 一句 |
|---|---|---|---|---|
| 免费 | 不用登录 | 可以 | 同为开源 LLM 推理服务引擎,PagedAttention 管 KV 缓存,支持连续批处理与量化,N 卡上可直接换 | |
| 免费 | 不用登录 | 可以 | 开源推理框架,内置请求调度,可部署 LLM 到 GPU 集群对外服务,覆盖压吞吐延迟的主场景 | |
| 免费 | 不用登录 | 可以 | 同样能把模型部署成 API 服务,但支持更多 GPU 品牌,不绑死 N 卡,吞吐优化不如 TensorRT-LLM 深。 | |
| 免费 | 不用登录 | 可以 | 替代自托管部署这一块:一条命令起 OpenAI 兼容接口,但底层优化深度不如专用 kernel | |
| 免费 | — | 可以 | 替代跨平台推理执行这一块:支持多硬件后端,但 LLM 专用 kernel 与调度不如本条 |
还有人提到:TGI (Text Generation Inference)(本站还没收录)