LangSmith 支持两种类型的评估，根据其运行的时间和地点进行区分：

离线评估

发布前测试

在开发阶段对精心整理的数据集运行评估，以比较版本、进行性能基准测试并发现回归问题。

在线评估

生产环境监控

实时评估真实用户交互，以检测问题并衡量实时流量的质量。

评估工作流

离线评估流程

在线评估流程

创建数据集

使用来自手动整理的测试用例、历史生产追踪记录或合成数据生成的 示例 来创建一个 数据集。

定义评估器

创建 评估器 来对性能进行评分： - 人工 评审 - 代码 规则 - LLM 作为裁判 - 成对 比较

运行实验

在数据集上执行你的应用程序以创建一个 实验。配置 重复次数、并发性和缓存 以优化运行。

分析结果

比较实验以进行 基准测试、单元测试、回归测试 或 回测。

有关离线和在线评估之间差异的更多信息，请参阅 评估概念 页面。

开始使用

评估快速入门

开始使用离线评估。

管理数据集

通过 UI 或 SDK 创建和管理用于评估的数据集。

运行离线评估

探索评估类型、技术和框架，进行全面的测试。

分析结果

查看和分析评估结果，比较实验，过滤数据并导出发现。

运行在线评估

从“可观测性”选项卡实时监控生产质量。

跟随教程

通过逐步教程学习，从简单的聊天机器人到复杂的智能体评估。

要设置 LangSmith 实例，请访问平台设置部分，在云端、混合或自托管之间进行选择。所有选项都包括可观测性、评估、提示工程和部署。