llamafile
github.com官网已核对
Mozilla.ai 维护的开源项目,把 llama.cpp 推理引擎和模型打包成单个可执行文件,下载后加执行权限即可离线运行,适合想在自己电脑上试开源模型又不想折腾环境的人。
最近 5 次实测
3 次可以打开平均 4.1 秒11 月 16 日 起国内不可直接访问11 月 10 日 起国内不可直接访问
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。llamafile 要解决的是「跑一个本地大模型太麻烦」这件事。通常你得装 Python 环境、配依赖、拉模型权重、再起一个服务,而它把这些都塞进一个可执行文件里:下载下来、加个执行权限、直接运行,浏览器里就能和模型对话。项目由 Mozilla Builders 发起,现在由 Mozilla.ai 接手维护。
主要功能
核心是把 llama.cpp 和 Cosmopolitan Libc 组合成一个跨平台的单文件程序,官方说法是能在大多数操作系统和 CPU 架构上本地运行,不需要安装。除了跑文本模型,仓库里还带了一个 whisperfile,同样是单文件形式,用来做语音转文字和翻译,支持音频文件的转录与翻译。
- 单文件分发:模型和推理引擎打包在一起,拷给别人就能用
- 本地推理:不联网也能跑,数据不出本机
- 附带 whisperfile:同一套打包方式做的语音转写工具
版本与使用
从 0.10.0 起换了新的构建系统,好处是能跟上 llama.cpp 的新版本、支持更新的模型,代价是部分旧功能可能缺失;想保留原来的体验可以回 releases 页面下载旧版。官方预编译的 llamafile 会标明内置的服务器版本,下载前能看清自己拿到的是哪一版。快速上手的方式是先用 curl 拉一个示例模型文件,再 chmod 加执行权限后运行。
适合谁
想在自己电脑上试开源模型、又不想折腾环境的人;需要把模型连同运行环境一起分发给同事或用户的人;以及要在离线环境里做语音转写的场景。仓库本身是英文文档,遇到问题得看 README 和 docs.mozilla.ai 上的说明。
常见问题
用 llamafile 要登录吗?
不用登录就能用。
llamafile 有哪些平台 / App?
支持 Windows、macOS、Linux。
