05 数据集

您已拥有一个经过追踪、属性标记和监控的应用。data/seed-dataset.json 和 scripts/seed-dataset.ts 已在该检查点的仓库中。

研讨会材料在公共 langfuse/langfuse-workshop 仓库中维护。使用该仓库获取可运行的应用、检查点分支和本地设置。

起始点

git checkout checkpoint/05-dataset

您已拥有一个经过追踪、属性标记和监控的应用。data/seed-dataset.json 和 scripts/seed-dataset.ts 已在该检查点的仓库中。

确保 .env 具有：

DATASET_NAME=dad-it-support-workshop

为什么要构建数据集

数据集是您对系统在生产环境中将面临的内容的表示——您期望的输入，以及对于每个输入，什么是好的答案。通过明确地写下期望，您可以在每次更改后重新运行代理来测试它们，并知道您是否有帮助或有害。好的数据集是自信地发布和迭代而不回退的基础。

在 Langfuse 学院的数据集课程中了解更多。

目标

创建第一个数据集，捕获我们期望 Specs 处理的请求类型。为了实现这一目标：

理解项目形状 —— 每个数据集项都有相同的三个字段，我们希望我们的项与代理的实际输入相匹配。
创建托管数据集 使其存储在 Langfuse 中，并为下一步的实验做好准备。

Specs 如何处理工单 —— 一个代理、两个工具、一个模型，每次跳转都是追踪中的一个观察。

第 1 步 —— 读取项目形状

Langfuse 中的数据集项遵循一致的形状 —— 三个字段，一个必需，两个可选：

字段	必需	目的
`input`	是	您要提供给代理的内容。对我们来说，与 `{ messages: [...] }` 形状 `/api/chat` 接受的相同。
`expectedOutput`	可选	好答案的样子。自由形式 —— 由评估者用于比较实际和期望。
`metadata`	可选	用于过滤和分组的标签或其他字段（`category`、`difficulty` 等）。

对我们来说，一个项目的概念形状是：

{
  "input": "How do I turn Bluetooth on on my iPhone?",
  "expectedOutput": {
    "idealAnswer": "Open Settings, tap Bluetooth, and turn the Bluetooth switch on.",
    "expectedKeywords": ["Settings", "Bluetooth", "switch", "on"]
  },
  "metadata": { "category": "iphone-bluetooth", "difficulty": "easy" }
}

expectedOutput 中的两个字段回答两个不同的评估问题：

idealAnswer 是人类可读的参考回复。这是 LLM-as-a-judge 正确性评估者（第 06 章）从 $.idealAnswer 读取的内容，以决定含义是否匹配。
expectedKeywords 是答案必须包含的字符串的小列表，才能被认为"涵盖了步骤"。在第 06 章中，实验脚本使用它来获得确定性的 keyword_overlap 分数 —— 快速、廉价且不需要模型调用。

metadata 让我们在之后并排比较实验运行时按类别或难度切割运行。

如果您查看 data/seed-dataset.json 中的实际 JSON，input 是 /api/chat 接受的完整 { messages: [...] } 形状，加上数据集行的 id 字段。我们已简化上面的示例以显示项目是什么；磁盘上的格式是实验脚本（第 06 步）可以直接提供给 runSupportConversation(...) 的格式，无需重写输入。