SGLang

github.com

开源的推理框架,用于把大语言模型、视觉语言模型和扩散模型部署到 GPU、TPU 或 NPU 集群上对外提供服务,内置请求路由与扩散生成引擎,适合需要自己托管模型、在意推理成本和延迟的团队按 Cookbook 挑启动命令。

打开官网替代品 4 个 本站 11 月 22 日 实测可以打开
最近 5 次实测

4 次可以打开平均 3.4 秒11 月 19 日 起国内不可直接访问

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。

SGLang 是一个开源的推理框架,用来把大语言模型、视觉语言模型和扩散模型跑起来对外提供服务。它面向的不是普通聊天用户,而是要把模型部署到 GPU、TPU 或 NPU 集群上的工程师:你拉一个 Docker 镜像或装一个 Python 包,用一条命令启动模型,再向它发请求。项目在 GitHub 上以 Apache-2.0 协议开放,仓库里同时放着服务端、路由器和文档。

主要功能

框架针对智能体负载、大规模服务和强化学习 rollout 做了优化,这两类场景的共同点是请求多、上下文长、对吞吐敏感。仓库里还内置了 SGLang Diffusion,作为图像和视频生成的引擎,随 sglang Python 包一起发布。配套的 sgl-model-gateway 和 sgl-router 负责把请求分发到多个模型实例。

上手路径比较直接:docker pull lmsysorg/sglang:latest 拿到带依赖的镜像,或者用 uv 安装;之后按 Quickstart 跑第一个模型,按 Cookbook 根据模型和硬件挑启动命令。

硬件与生态

官方列出的支持范围很宽,覆盖 NVIDIA 的 B200、H100、A100 到 RTX 30/40/50 系列,AMD 的 MI300X、MI350X,Google TPU,Intel 的 Arc GPU 和 Xeon CPU,Apple Silicon 走 Metal/MLX,以及华为昇腾、摩尔线程等国产加速卡。部分平台还在接入中,模型兼容性和具体配置需要查 Cookbook 和平台指南。

适合谁

适合需要自己托管模型、在意推理成本和延迟的团队,尤其是做智能体应用或强化学习训练的开发者。它不提供网页界面,也不替用户管理账号,装好之后面对的是命令行和 API。

常见问题

SGLang 收费吗?
SGLang 免费使用。开源免费,Apache-2.0 许可。
用 SGLang 要登录吗?
不用登录就能用。
SGLang 有哪些平台 / App?
支持 Linux、macOS、Windows。

替代品全部 4 个,带对比表 →

替代品 4打开官网