llamafile 的替代品
9 个可以替代 llamafile 的软件,4 个可完全替代、5 个部分替代,2 个在国内不能直接访问、归在最后。费用、登录、平台与可访问性都是本站实测或从官网核对的。
对比
| 条目 | 费用 | 登录 | 国内访问 | 一句 |
|---|---|---|---|---|
| 有免费版 | 可选登录 | 可以 | 同样一条命令本地跑开源模型,模型管理更省事,但没有单文件分发和 whisperfile | |
| 有免费版 | 要登录 | 可以 | 替代单文件跑模型这块:有图形界面和模型商店,不用命令行,但装的是应用不是可拷给别人的单文件。 | |
| — | — | 可以 | 替代桌面离线聊天:图形界面切模型、能索引本地文档,但同样要安装,不能一个文件拷给同事。 | |
| 免费 | — | 可以 | 替代本地推理这一块:直接加载 GGUF 跑模型,但需单独准备模型文件,无单文件打包 | |
| 免费 | 不用登录 | 可以 | 替代起服务这一块:一条命令给 OpenAI 兼容接口,适合后端部署,但没有单文件分发和离线桌面对话。 | |
| 免费 | — | 可以 | 替代自己训模型这一块:有 OCR、检测等套件和大量预置模型,但跑开源大模型要自己搭环境,不是单文件。 | |
| 免费 | — | 可以 | 替代训练与端侧部署这一块:能分布式训练再部署到手机边缘,但推理前要装框架配环境,没有单文件。 | |
| 免费 | — | 不可以 | 替代本地推理服务:给 OpenAI 兼容 API 方便接自己的程序,但要起服务、配容器,没有单文件即点即用。 | |
| 免费 | 不用登录 | 不可以 | 替代推理引擎这一块:llamafile 底层就是它,但需自己配环境和模型文件 |
按需求挑
免费的 llamafile 替代品8 个
Ollama(有免费版)、LM Studio Bionic(有免费版)、Shimmy、OpenLLM、飞桨PaddlePaddle、昇思MindSpore、LocalAI、llama.cpp
开源的 llamafile 替代品8 个
Ollama、GPT4All、Shimmy、OpenLLM、飞桨PaddlePaddle、昇思MindSpore、LocalAI、llama.cpp