05 数据集

工作坊资料在公开的 langfuse/langfuse-workshop 仓库中维护。使用该仓库获取可运行的应用、检查点分支和本地设置。

查看此 Markdown 文件

学习者指南：05 数据集

讲师笔记

• 将数据集框架化为写下的产品范围：预期用户输入、预期行为和用于切片的元数据。
• 代码路径有意简单：将精选 JSON 播种到 Langfuse 中，然后检查托管的数据集。
• 指出为什么 expectedOutput 有两个字段：idealAnswer 提供给正确性评判，expectedKeywords 提供给下一章中的确定性 keyword_overlap 检查。
• 将此章节链接回监控：好的数据集项目通常来自令人惊讶的生产追踪。

演示节奏

1. 打开 data/seed-dataset.json 并指出 input、expectedOutput 和 metadata。
2. 运行 npm run dataset:seed。
3. 在 Langfuse 中打开数据集列表和项目表。

注意事项

• 学习者期望精确答案匹配。理想答案是评估器的参考资料，而不是字符串相等目标。
• 如果播种脚本多次针对同一项目运行，则数据集项目重复。