OpenLLM
BentoML 团队维护的开源大模型自托管工具,一条命令即可起 OpenAI 兼容接口,适合想沿用 OpenAI SDK 的后端与算法工程师在自有显卡上跑私有推理服务。
4 次可以打开平均 1.9 秒11 月 13 日 起国内不可直接访问
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。OpenLLM 是 BentoML 团队维护的开源项目,解决的是「手里有开源模型,但不想自己写推理服务」这件事。装好之后用一条 openllm serve 命令指定模型版本,本地就会起一个服务,默认在 3000 端口提供与 OpenAI 接口格式一致的 API,原来调用 OpenAI 的代码改一下地址就能接上。它自带一个聊天界面,方便先手动试模型效果。
主要功能
README 里列了一批可直接启动的模型,覆盖 Llama 3.1/3.2/3.3/4、Qwen2.5 及 coder 版、QwQ、Mistral、Mistral Large、Gemma 2/3、Phi4、Pixtral、Jamba 1.5、DeepSeek R1 等,每个都标了参数量和所需显存,比如 llama3.2:1b 要 24G,deepseek:r1-671b 要 80G×16。除了内置列表,也可以挂自己的模型仓库跑自定义模型。
部署方面,项目提供 Docker 和 Kubernetes 的工作流,目标是把本地跑通的模型搬到云上。它本身不存模型权重,受限模型需要自备 Hugging Face 的 HF_TOKEN,并先在 Hugging Face 上申请访问权限。
适合谁
适合要自己托管模型、又希望沿用 OpenAI SDK 和周边工具的后端与算法工程师。显存不够的话,表里最小的模型也要 12G 到 24G,普通笔记本跑不动大参数版本。
费用与限制
项目采用 Apache-2.0 协议,代码免费,模型权重和算力要自己解决。界面为英文,使用前需要熟悉命令行和 Python 环境。