LocalAI

localai.io官网已核对

开源的 AI 推理引擎,用 OpenAI 兼容 API 在本地跑文本、语音、视觉和图像视频模型,引擎可按模型切换,CPU 也有完整路径,适合手头只有消费级显卡、又不想把数据发出去的开发者做原型。

打开官网替代品 9 个 本站 11 月 22 日 实测:国内不可直接访问
最近 5 次实测

4 次可以打开平均 4.2 秒11 月 22 日 起国内不可直接访问

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。
localai.ioLocalAI 首页截图

localai.io 首页 · 本站实拍 · 点开看大图

LocalAI 是一个开源的 AI 推理引擎,把大语言模型、语音识别与合成、视觉检测、图像和视频生成放在同一个运行时里。它对外提供 OpenAI 兼容的 API,也兼容 Anthropic、Ollama 和 ElevenLabs 的接口,现有客户端通常改个地址就能继续用,只是模型跑在了你自己的机器上。

主要功能

核心是一个可替换引擎的 API 层:同一个模型可以跑在 llama.cpp 上,下一个模型加载到 vLLM、SGLang 或 MLX,客户端不用改请求。每个引擎作为独立后端按需拉取,所以一次安装不会变成巨大的下载包。语音方面支持实时转写、说话人分离和语音合成,走 WebRTC 能像对话一样来回;视觉方面能做目标检测、深度估计和 3D 重建;还有隐私过滤,在本地把姓名、地址、卡号识别并脱敏。

模型库里有 1,255 个模型可选,不需要自己写转换脚本。分布式方面,加第二台机器后路由、显存感知放置和故障转移由运行时处理,节点掉线不会让整个服务停摆。

适合谁

想在自己的硬件上跑 AI、又不想把数据发出去的人:做原型的开发者、需要私有部署的小团队、手头只有 CPU 或消费级显卡的用户。官方强调每个功能先有 CPU 路径,GPU 只是加速,不是必需。

费用与限制

项目采用 MIT 许可证,开源免费,页面标注版本 v4.8.0。它需要你自己准备硬件和部署环境,不是开箱即用的在线服务;模型效果和速度取决于所选引擎与机器配置。界面语言为英文,文档也在英文站点上。

常见问题

LocalAI 收费吗?
LocalAI 免费使用。开源免费,MIT 许可证。
LocalAI 有哪些平台 / App?
支持 Linux、macOS、Windows。

替代品全部 9 个,带对比表 →

替代品 9打开官网