主题
在迭代优化 LLM 应用(例如更换模型或调整提示词)时,您通常需要比较不同实验的结果。
LangSmith 提供了对比视图功能,帮助您聚焦不同实验之间的关键差异、性能回退和改进点。
打开对比视图
- 要访问实验对比视图,请导航至 Datasets & Experiments 页面。
- 选择一个数据集,这将打开 Experiments 标签页。
- 选择两个或更多实验,然后点击 Compare。

调整表格显示
您可以在 Comparing Experiments 页面顶部点击 Full 或 Compact 来切换不同的视图。
切换到 Full 视图将显示每次运行的输入、输出和参考输出的完整文本。如果参考输出过长无法在表格中完整显示,您可以点击 Expand detailed view 来查看全部内容。
您还可以在 Display 设置下拉菜单中,选择隐藏特定的反馈键或指标,以便在对比视图中专注于所需信息。
查看性能回退与改进
在对比视图中,相对于您设定的基线实验,在指定反馈键上出现性能回退的运行会以红色高亮显示,而出现改进的运行则会以绿色高亮显示。在每个列的顶部,您可以查看该实验中有多少运行比基线实验表现更好,有多少表现更差。
点击每列顶部的回退或改进按钮,可以筛选出在该特定实验中发生回退或改进的运行。

更新基线实验和指标
为了追踪性能回退,您需要:
- 在对比视图顶部的 Baseline 下拉菜单中,选择一个 Baseline experiment 作为比较基准。默认情况下,最新的实验会被选为基线。
- 选择一个您希望重点比较的 Feedback key(评估指标)。系统会默认分配一个,但您可以根据需要进行调整。
- 配置所选反馈键的分数是否越高越好。此偏好将被保存。

打开追踪记录
如果您正在评估的示例来自已摄取的运行,您可以将鼠标悬停在输出单元格上,然后点击追踪图标以打开该运行的追踪视图。这将在侧边面板中打开一个追踪记录。

展开详细视图
在任何单元格上,您都可以在悬停状态下点击展开图标,以打开该特定示例输入的所有实验结果的详细视图,包括反馈键和分数。

查看汇总图表
点击页面顶部的 Charts 标签页,可以查看汇总图表。

使用实验元数据作为图表标签
您可以根据实验元数据来配置图表的 X 轴标签。
在 x-axis 下拉菜单中选择一个元数据键,即可更改图表标签。
