07 评估变更

工作坊资料在公开的 langfuse/langfuse-workshop 仓库中维护。使用该仓库获取可运行的应用、检查点分支和本地设置。

查看此 Markdown 文件

学习者指南：07 评估更改

讲师笔记

• 让学习者在更改任何内容之前检查运行 1。更改应该响应证据，而不是直觉。
• 保持迭代有意小：一个提示词规则、一次重新运行、一次比较。
• 强调回归。最有用的比较通常是变差的项。
• 提醒学习者两个实验分数现在都在平台端，所以缺失的分数通常意味着"仍待决"或"评估器目标不匹配"，而不是 scripts/run-dataset.ts 中的错误。

演示节奏

1. 从第一次运行读取低评分项。
2. 添加或升级新的提示词版本。
3. 再次运行 npm run dataset:run。
4. 并排比较两次运行并决定更改是否值得推送。

注意事项

• 学习者同时更改模型和提示词，使比较难以解释。
• 学习者在 UI 中编辑提示词但忘记他们需要一个新的保存版本，升级到应用获取的标签。