LiteLLM

LiteLLM 是一个开源的 Python 库及代理服务器，为开发者提供统一接口，用于调用多个大型语言模型（LLM）服务。通过兼容 OpenAI API 格式，LiteLLM 支持与 OpenAI、Azure、Anthropic、Cohere、Hugging Face 等主流 LLM 提供商进行交互，有效降低在不同平台间切换和集成的复杂度。

LiteLLM官网入口网址：https://www.litellm.ai

• 支持超过 100 家 LLM 提供商，涵盖 GPT-3.5-turbo、Claude 2、LLaMA、Qwen 等主流模型
• 提供统一的 API 调用方式，无需针对每个服务商编写独立适配代码
• 内置负载均衡、自动重试、请求日志记录与可观测性功能
• 代理服务器模式支持集中管理 API 密钥、请求路由与支出追踪

用户可通过 Python SDK 或独立运行的代理服务器使用 LiteLLM。前者适用于嵌入现有应用，后者便于团队共享统一接入点。安装过程简便，仅需通过 pip 即可完成部署，并提供清晰的示例代码帮助快速上手。

该工具适用于需要同时对接多个大模型服务的开发场景，尤其在模型迁移、成本优化或多供应商测试等需求下，能显著提升开发效率与系统稳定性。在 千流导航 中，LiteLLM 被列为面向 AI 开发者的重要基础设施工具之一。