LocalAI 的替代品

9 个可以替代 LocalAI 的软件,3 个可完全替代、6 个部分替代,2 个在国内不能直接访问、归在最后,LocalAI 本身在国内不能直接访问,国内可直接用的排在前面。费用、登录、平台与可访问性都是本站实测或从官网核对的。

对比

条目费用登录国内访问一句
Xinference完全Linux · Windows · macOS 有免费版 — 可以 同样本地统一跑 LLM、多模态、语音和视频并给 OpenAI 兼容 API,换过来功能不缺
Shimmy完全Windows · macOS · Linux 免费 — 可以 只替代文本推理和 OpenAI 兼容接口:纯 Rust 单文件加载 GGUF,没有多引擎切换和语音视觉功能。
Ollama部分macOS · Windows · Linux · 网页 有免费版 可选登录 可以 替代本地跑 LLM 这一块:一条命令拉模型更省事,但没有语音、视觉和图像视频引擎
llamafile部分Windows · macOS · Linux — 不用登录 可以 替代单模型本地部署这一块:单文件即跑、离线方便,但缺多引擎切换和语音视觉能力
GPT4All部分Windows · macOS · Linux — — 可以 替代离线跑模型和文档问答:桌面安装即用、中文界面友好,但没有语音视觉和可切换推理引擎。
OpenLLM部分Linux · macOS · Windows 免费 不用登录 可以 替代 OpenAI 兼容私有部署:一条命令起服务更省事,但只覆盖文本模型,没有语音视觉和 CPU 完整路径。
vLLM部分Linux · Windows · macOS 免费 不用登录 可以 替代高吞吐 LLM 服务这一块:显存管理和批处理更强,但不管语音、视觉和图像生成
llama.cpp完全Windows · macOS · Linux · Android 免费 不用登录 不可以 只替代文本推理这一块:GGUF 量化加 CPU+GPU 混合跑得更成熟,但没有语音、视觉和图像生成。
TextGen部分Windows · macOS · Linux 免费 不用登录 不可以 替代多后端切换和 OpenAI 兼容 API:桌面界面更省事,但语音、视觉、图像视频生成要另找工具。

按需求挑

免费的 LocalAI 替代品7 个

Xinference(有免费版)、Shimmy、Ollama(有免费版)、OpenLLM、vLLM、llama.cpp、TextGen

开源的 LocalAI 替代品9 个

Xinference、Shimmy、Ollama、llamafile、GPT4All、OpenLLM、vLLM、llama.cpp、TextGen

更新于 11 月 22 日 · 报告问题

看档案打开官网