LiteLLM
开源 LLM API 网关,统一 100+ 模型调用接口
优点
- 完全开源,数据自控
- 模型兼容性极广
- 企业级功能完善(审计、限流、预算)
- 社区活跃,迭代快
缺点
- 需要自行部署和维护
- 部署需要一定的技术能力
- 没有自带的前端管理界面
核心功能
- 开源项目,可自行部署
- 统一调用 100+ LLM 的 API 接口
- 支持 OpenAI / Anthropic / Azure / VertexAI 等
- 内置成本追踪和预算管理
- 支持负载均衡和故障自动切换
- 提供 Guardrails 内容安全过滤
- Docker 一键部署
- 支持自定义 API Key 管理和计费