主题
某些应用基于多模态内容构建,例如能够回答关于 PDF 或图像问题的聊天机器人。在这些情况下,您需要在提示词中包含多模态内容,并测试模型理解内容并回答问题的能力。
LangSmith Playground 支持两种在提示词中融入多模态内容的方法:
内联内容:将静态文件(图像、PDF、音频)直接嵌入到提示词中。当您希望在提示词的所有使用场景中始终包含相同的多模态内容时,这种方法非常理想。例如,您可以包含一张参考图像,以帮助模型基于此进行回答。
模板变量:为附件创建动态占位符,每次都可以填充不同的内容。这种方法提供了更大的灵活性,允许您:
- 测试模型如何处理不同的输入
- 创建可重复使用的提示词,以处理不同的内容
并非所有模型都支持多模态内容。在 Playground 中使用多模态功能之前,请确保您选择的模型支持您想要使用的文件类型。
内联内容
点击您想要添加多模态内容的消息中的文件图标。在 Upload content 标签页下,您可以上传文件并将其以内联方式包含在提示词中。

模板变量
点击您想要添加多模态内容的消息中的文件图标。在 Template variables 标签页下,您可以为特定附件类型创建模板变量。目前仅支持图像、PDF 和音频文件(.wav, .mp3)。

填充模板变量
添加模板变量后,您可以使用屏幕右侧的面板为其提供内容。只需点击 + 按钮上传或选择内容,这些内容将用于填充模板变量。

运行评估
手动测试您的提示词后,您可以运行评估,以查看该提示词在黄金示例数据集上的表现。