Xinference 的替代品

4 个可以替代 Xinference 的软件，1 个在国内不能直接访问、归在最后。费用、登录、平台与可访问性都是本站实测或从官网核对的。

Xinference
inference.readthedocs.io

Xorbits 推出的开源 AI 模型推理平台，在本地或云端统一跑 LLM、嵌入、多模态、语音和视频模型，提供兼容 OpenAI 的 API 并支持注册自定义权重，适合要在私有环境里跑多个模型、不想逐个适配接口的开发者。

工具有免费版Linux · Windows · macOS多语言开源
查看详情打开官网

对比

条目费用登录平台国内可直接访问一句
硅基流动 有免费版 要登录 网页 待检测 替代统一 API 调用这一块：一个接口调多家模型，但模型跑在云端而非本地私有环境
Ollama 有免费版 可选登录 macOS · Windows · Linux · 网页 可以 替代本地跑 LLM 这一块：一条命令拉模型，但没有嵌入、重排序和多模态统一 API
Fireworks AI 有免费版 要登录 网页 可以 替代托管推理这一块：托管多种开源模型并支持微调，但需联网、不能私有自部署
vLLM 免费 — Linux · Windows · macOS 不可以 替代 LLM 推理服务这一块：吞吐和显存管理更强，但不覆盖嵌入、语音、视频模型

详细介绍

部分替代 3
硅基流动有免费版要登录 北京硅基流动科技股份有限公司运营的大模型 API 聚合平台，用统一接口调用 DeepSeek、Qwen、GLM、Kimi 等厂商模型，适合需要快速试多个模型又不想一家家开户的团队。替代统一 API 调用这一块：一个接口调多家模型，但模型跑在云端而非本地私有环境 Ollama有免费版可选登录国内可直接访问 开源的本地大模型运行工具，一条命令拉取并跑起各类开放模型，提示词不存储、不用于训练，也能按 token 调用云端模型，适合开发者在自己的机器上试模型、写本地 AI 应用原型。替代本地跑 LLM 这一块：一条命令拉模型，但没有嵌入、重排序和多模态统一 API Fireworks AI有免费版要登录国内可直接访问 面向开发者的 AI 推理与训练平台，托管多种开源模型并支持请求模式切换与微调，适合想把闭源模型换成开源模型压成本的工程团队。替代托管推理这一块：托管多种开源模型并支持微调，但需联网、不能私有自部署
国内不可直接访问 1
vLLM免费国内不可直接访问 开源的大语言模型推理与服务引擎，用 PagedAttention 管理 KV 缓存显存，支持连续批处理与多种量化格式，并提供兼容 OpenAI 的 API 服务端，适合手里有显卡、想把开源模型部署成接口服务的人。替代 LLM 推理服务这一块：吞吐和显存管理更强，但不覆盖嵌入、语音、视频模型

还有：LocalAI、OpenLLM（未收录）

更新于 11 月 8 日 · 报告问题

查看详情 打开官网inference.readthedocs.io