OpenLLM

github.com

BentoML 团队维护的开源大模型自托管工具,一条命令即可起 OpenAI 兼容接口,适合想沿用 OpenAI SDK 的后端与算法工程师在自有显卡上跑私有推理服务。

打开官网替代品 7 个 本站 11 月 22 日 实测可以打开
最近 5 次实测

4 次可以打开平均 1.9 秒11 月 13 日 起国内不可直接访问

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。

OpenLLM 是 BentoML 团队维护的开源项目,解决的是「手里有开源模型,但不想自己写推理服务」这件事。装好之后用一条 openllm serve 命令指定模型版本,本地就会起一个服务,默认在 3000 端口提供与 OpenAI 接口格式一致的 API,原来调用 OpenAI 的代码改一下地址就能接上。它自带一个聊天界面,方便先手动试模型效果。

主要功能

README 里列了一批可直接启动的模型,覆盖 Llama 3.1/3.2/3.3/4、Qwen2.5 及 coder 版、QwQ、Mistral、Mistral Large、Gemma 2/3、Phi4、Pixtral、Jamba 1.5、DeepSeek R1 等,每个都标了参数量和所需显存,比如 llama3.2:1b 要 24G,deepseek:r1-671b 要 80G×16。除了内置列表,也可以挂自己的模型仓库跑自定义模型。

部署方面,项目提供 Docker 和 Kubernetes 的工作流,目标是把本地跑通的模型搬到云上。它本身不存模型权重,受限模型需要自备 Hugging Face 的 HF_TOKEN,并先在 Hugging Face 上申请访问权限。

适合谁

适合要自己托管模型、又希望沿用 OpenAI SDK 和周边工具的后端与算法工程师。显存不够的话,表里最小的模型也要 12G 到 24G,普通笔记本跑不动大参数版本。

费用与限制

项目采用 Apache-2.0 协议,代码免费,模型权重和算力要自己解决。界面为英文,使用前需要熟悉命令行和 Python 环境。

常见问题

OpenLLM 收费吗?
OpenLLM 免费使用。
用 OpenLLM 要登录吗?
不用登录就能用。
OpenLLM 有哪些平台 / App?
支持 Linux、macOS、Windows。

替代品全部 7 个,带对比表 →

替代品 7打开官网