Xinference

Xinference（Xorbits Inference）是一个开源平台，用来跑和集成各种 AI 模型。它把大语言模型、嵌入模型、多模态模型、语音和视频模型统一到一个服务里，你在本地机器或云端启动它，就能通过一套 API 调用这些模型，不用为每个模型单独搭环境。

它面向的是要自己部署模型的开发者。装好之后，用 Python 客户端连上本地服务，取到模型 UID 就能发请求：跟 LLM 对话、给文本做嵌入、把图片转成描述、把语音转成文字、对候选文本重排序、用文字生成图片或视频。文档里每类能力都配了可直接照抄的代码片段。

主要功能

• 对话与生成：LLM 聊天，支持带图片的多模态输入
• 嵌入与重排序：文本向量化、候选结果排序，常用于检索场景
• 图像、音频、视频：文生图、语音转写、文生视频
• 自定义模型：注册自己的模型权重并转成 API
• 传统机器学习模型推理

费用与版本

开源版本可以免费自行部署。面向生产环境的模型服务另有一个商业版本 Xinference Enterprise，可以部署在自己的云环境或数据中心，也有 Xinference Cloud 的托管专属部署；托管 Model API 省去维护推理基础设施，通过兼容 OpenAI 的接口调用支持的模型。具体价格文档里没有写。

适合谁

需要在自己机器或私有环境里跑多个开源模型、又不想逐个适配接口的开发者，以及想把模型推理接进现有应用的后端团队。文档提供中文版，安装说明覆盖 Linux、Windows 和 macOS。