LiteLLM
🔌

LiteLLM

开源 LLM API 网关,统一 100+ 模型调用接口

🔌 API中转 🆓 免费 ★★★★★
访问官网
优点
  • 完全开源,数据自控
  • 模型兼容性极广
  • 企业级功能完善(审计、限流、预算)
  • 社区活跃,迭代快
! 缺点
  • 需要自行部署和维护
  • 部署需要一定的技术能力
  • 没有自带的前端管理界面
核心功能
  • 开源项目,可自行部署
  • 统一调用 100+ LLM 的 API 接口
  • 支持 OpenAI / Anthropic / Azure / VertexAI 等
  • 内置成本追踪和预算管理
  • 支持负载均衡和故障自动切换
  • 提供 Guardrails 内容安全过滤
  • Docker 一键部署
  • 支持自定义 API Key 管理和计费