Skip to content

在迭代优化 LLM 应用(例如更换模型或调整提示词)时,您通常需要比较不同实验的结果。

LangSmith 提供了对比视图功能,帮助您聚焦不同实验之间的关键差异、性能回退和改进点。

打开对比视图

  1. 要访问实验对比视图,请导航至 Datasets & Experiments 页面。
  2. 选择一个数据集,这将打开 Experiments 标签页。
  3. 选择两个或更多实验,然后点击 Compare

用户界面中的实验视图,选中了 3 个实验,并高亮了 Compare 按钮。

调整表格显示

您可以在 Comparing Experiments 页面顶部点击 FullCompact 来切换不同的视图。

切换到 Full 视图将显示每次运行的输入、输出和参考输出的完整文本。如果参考输出过长无法在表格中完整显示,您可以点击 Expand detailed view 来查看全部内容。

您还可以在 Display 设置下拉菜单中,选择隐藏特定的反馈键或指标,以便在对比视图中专注于所需信息。

查看性能回退与改进

在对比视图中,相对于您设定的基线实验,在指定反馈键上出现性能回退的运行会以红色高亮显示,而出现改进的运行则会以绿色高亮显示。在每个列的顶部,您可以查看该实验中有多少运行比基线实验表现更好,有多少表现更差。

点击每列顶部的回退或改进按钮,可以筛选出在该特定实验中发生回退或改进的运行。

对比两个实验的视图,分别用红色和绿色高亮显示了性能回退和改进。

更新基线实验和指标

为了追踪性能回退,您需要:

  1. 在对比视图顶部的 Baseline 下拉菜单中,选择一个 Baseline experiment 作为比较基准。默认情况下,最新的实验会被选为基线。
  2. 选择一个您希望重点比较的 Feedback key(评估指标)。系统会默认分配一个,但您可以根据需要进行调整。
  3. 配置所选反馈键的分数是否越高越好。此偏好将被保存。

高亮的 Baseline 下拉菜单,其中选择了实验和反馈键 "hallucination"。

打开追踪记录

如果您正在评估的示例来自已摄取的运行,您可以将鼠标悬停在输出单元格上,然后点击追踪图标以打开该运行的追踪视图。这将在侧边面板中打开一个追踪记录。

从已摄取运行中高亮的 View trace 图标。

展开详细视图

在任何单元格上,您都可以在悬停状态下点击展开图标,以打开该特定示例输入的所有实验结果的详细视图,包括反馈键和分数。

Comparing Experiments 视图中一个示例的展开视图,展示了重复项。

查看汇总图表

点击页面顶部的 Charts 标签页,可以查看汇总图表。

Charts 汇总页面,显示了用于对比的 8 个汇总图表。

使用实验元数据作为图表标签

您可以根据实验元数据来配置图表的 X 轴标签。

x-axis 下拉菜单中选择一个元数据键,即可更改图表标签。

高亮的 x-axis 下拉菜单,其中列出了附加到实验的元数据列表。

LangChain 中文文档