llamafile 的替代品

9 个可以替代 llamafile 的软件,4 个可完全替代、5 个部分替代,2 个在国内不能直接访问、归在最后。费用、登录、平台与可访问性都是本站实测或从官网核对的。

对比

条目费用登录国内访问一句
Ollama完全macOS · Windows · Linux · 网页 有免费版 可选登录 可以 同样一条命令本地跑开源模型,模型管理更省事,但没有单文件分发和 whisperfile
LM Studio Bionic完全macOS 有免费版 要登录 可以 替代单文件跑模型这块:有图形界面和模型商店,不用命令行,但装的是应用不是可拷给别人的单文件。
GPT4All完全Windows · macOS · Linux — — 可以 替代桌面离线聊天:图形界面切模型、能索引本地文档,但同样要安装,不能一个文件拷给同事。
Shimmy部分Windows · macOS · Linux 免费 — 可以 替代本地推理这一块:直接加载 GGUF 跑模型,但需单独准备模型文件,无单文件打包
OpenLLM部分Linux · macOS · Windows 免费 不用登录 可以 替代起服务这一块:一条命令给 OpenAI 兼容接口,适合后端部署,但没有单文件分发和离线桌面对话。
飞桨PaddlePaddle部分网页 · Windows · macOS · Linux 免费 — 可以 替代自己训模型这一块:有 OCR、检测等套件和大量预置模型,但跑开源大模型要自己搭环境,不是单文件。
昇思MindSpore部分网页 免费 — 可以 替代训练与端侧部署这一块:能分布式训练再部署到手机边缘,但推理前要装框架配环境,没有单文件。
LocalAI完全Linux · macOS · Windows 免费 — 不可以 替代本地推理服务:给 OpenAI 兼容 API 方便接自己的程序,但要起服务、配容器,没有单文件即点即用。
llama.cpp部分Windows · macOS · Linux · Android 免费 不用登录 不可以 替代推理引擎这一块:llamafile 底层就是它,但需自己配环境和模型文件

按需求挑

免费的 llamafile 替代品8 个

Ollama(有免费版)、LM Studio Bionic(有免费版)、Shimmy、OpenLLM、飞桨PaddlePaddle、昇思MindSpore、LocalAI、llama.cpp

开源的 llamafile 替代品8 个

Ollama、GPT4All、Shimmy、OpenLLM、飞桨PaddlePaddle、昇思MindSpore、LocalAI、llama.cpp

国产的 llamafile 替代品2 个

飞桨PaddlePaddle、昇思MindSpore

更新于 11 月 22 日 · 报告问题

看档案打开官网