LiteLLM

LiteLLM 是一个开源的 AI 网关，也可以理解成 LLM 代理。它把 OpenAI、Anthropic、Gemini、Bedrock 等不同供应商的模型统一到一个 OpenAI 兼容的接口后面，应用代码不用改就能换模型。对平台团队来说，它解决的是「公司里每个人都要用各种模型，但没人说得清钱花在哪」的问题。

主要功能

接入层面，它提供一把统一的 key 和一套登录，按团队、项目、应用划分权限，新模型发布当天就能用。管理层面，每个请求都能看到是谁发的、花了多少，预算可以在超支前就卡住。路由上可以把请求分给最合适的模型，或者做负载均衡和故障回退。除了模型，它也能把 agent 和 MCP 服务器挂到同一个网关后面。

部署与费用

开源版自己部署，官方给了 macOS、Linux、Windows 的快速安装脚本，也支持完全离线的内网环境。企业版需要联系销售询价。页面上还挂着一个模型目录，收录 1,500 多个模型的价格和上下文窗口，可以拿来估算成本。

适合谁

适合要给整个组织统一开模型权限的平台团队、需要控制 AI 支出的工程负责人，以及想在自己基础设施里保留密钥和审计记录的团队。个人开发者如果只是调一两个模型，直接用官方 SDK 更省事。