简介
LangWatch 是面向 LLM 应用的开源可观测性与评测平台，覆盖从开发调试到线上监控的完整闭环。它能够追踪每一次 LLM 调用的输入输出、Token 用量、延迟与成本，并自动对提示词与 Agent 的行为进行质量评估。
核心功能
- 链路追踪：可视化展示多轮对话与 Agent 工具调用流程，快速定位问题环节
- 提示词管理：版本化提示词，支持 A/B 对比与一键回滚
- 自动评测：基于规则与 LLM-as-a-Judge 的评测器，持续回归测试输出质量
- 成本监控：按模型、用户与场景统计 Token 消耗与费用
- 开源可自部署：支持 Docker 私有化部署，满足数据合规要求
适用场景
- 生产环境 LLM 应用的稳定性与质量监控
- 提示词迭代的量化评估
- RAG 与 Agent 系统的效果分析
