SGLang 的替代品

4 个可以替代 SGLang 的软件,1 个在国内不能直接访问、归在最后。费用、登录、平台与可访问性都是本站实测或从官网核对的。

对比

条目费用登录国内访问一句
vLLM完全Linux · Windows · macOS 免费 不用登录 可以 同为开源 LLM 推理服务引擎,PagedAttention 管显存、连续批处理,部署场景基本可互换
Text Generation Inference完全Linux · macOS · Windows 免费 不用登录 可以 同为开源可自部署的推理服务端,HF 出品文档全、社区大,但扩散生成和国产加速卡支持不如 SGLang。
TensorRT-LLM完全Linux · Windows 免费 不用登录 可以 只替代 NVIDIA GPU 上的 LLM 推理加速:专用 kernel 延迟更低,但没有扩散引擎,也不覆盖 TPU、昇
LMSYS Org完全网页 免费 — 不可以 同一团队的组织入口,SGLang 本身就在其中,换成它等于从项目页转到组织页,能顺带看 FastChat 和 Arena

还有人提到:Hugging Face TGI、LMDeploy(本站还没收录)

按需求挑

免费的 SGLang 替代品4 个

vLLM、Text Generation Inference、TensorRT-LLM、LMSYS Org

开源的 SGLang 替代品4 个

vLLM、Text Generation Inference、TensorRT-LLM、LMSYS Org

更新于 11 月 22 日 · 报告问题

看档案打开官网