自托管版本要求

访问警报功能需要 Helm chart 版本 0.10.3 或更高。

概述

在 LLM 应用程序中实现有效的可观测性，需要主动检测故障、性能下降和回归问题。LangSmith 的警报功能有助于识别关键问题，例如：

• 来自模型提供商的 API 速率限制违规
• 应用程序的延迟增加
• 影响反映最终用户体验的反馈分数的应用程序变更

LangSmith 中的警报是按项目（project-scoped）设置的，需要为每个受监控的项目单独配置。

配置警报

步骤 1：导航至创建警报

首先导航到您想要为其配置警报的追踪项目。点击页面右上角的警报图标，查看该项目的现有警报并设置新警报。

步骤 2：选择指标类型

LangSmith 提供基于阈值的警报，涵盖三个核心指标：

指标类型	描述	用例
错误运行	跟踪状态为错误的运行	监控应用程序中的故障。
反馈分数	衡量平均反馈分数	跟踪最终用户的反馈或在线评估结果，以在出现回归时发出警报。
延迟	衡量平均运行执行时间	跟踪应用程序的延迟，以在出现峰值和性能瓶颈时发出警报。

此外，对于错误运行和运行延迟，您可以定义过滤器来缩小触发警报的运行范围。例如，您可以创建一个错误警报过滤器，针对所有标记为 support_agent 且遇到 RateLimitExceeded 错误的 llm 运行。

步骤 2：定义警报条件

警报条件由以下几个部分组成：

• 聚合方法：平均值、百分比或计数
• 比较运算符：>=、<= 或超过阈值
• 阈值：触发警报的数值
• 聚合窗口：指标计算的时间段（目前可选择 5 或 15 分钟）
• 反馈键（仅限反馈分数警报）：要监控的特定反馈指标

示例： 上面显示的配置将在过去 5 分钟内超过 5% 的运行出现错误时生成警报。

您可以预览警报在历史时间窗口内的行为，以了解有多少数据点（以及哪些数据点）会在选定的阈值（以红色表示）下触发警报。例如，为项目设置 60 秒的平均延迟阈值，可以让您可视化潜在的警报，如下图所示。

步骤 3：配置通知渠道

LangSmith 支持以下通知渠道：

1. PagerDuty 集成
2. Webhook 通知

选择合适的渠道，以确保通知能送达负责的团队成员。

最佳实践

• 根据应用程序的关键性调整灵敏度
• 从较宽的阈值开始，然后根据观察到的模式进行细化
• 确保警报路由能到达适当的待命人员