07 変更を評価する

ワークショップ資料は公開されている langfuse/langfuse-workshop リポジトリで管理されています。実行可能なアプリケーション、チェックポイント ブランチ、ローカル セットアップはリポジトリを参照してください。

このマークダウン ファイルを表示

学習者ガイド: 07 変更を評価する

インストラクター ノート

• 学習者に最初に実行 1 を検査させてください。変更は直感ではなく証拠に応答する必要があります。
• イテレーションを意図的に小さく保ってください: 1 つのプロンプト ルール、1 つの再実行、1 つの比較。
• リグレッションを強調してください。最も有用な比較はしばしば悪くなった項目です。
• 学習者に、両方の実験スコアがプラットフォーム側にあることを思い出させてください。欠落しているスコアは通常「まだ保留中」または「評価器ターゲットが一致しません」を意味し、scripts/run-dataset.ts のバグではありません。

デモ リズム

1. 最初の実行から低スコアの項目を読みます。
2. 新しいプロンプト バージョンを追加または昇進させます。
3. npm run dataset:run をもう一度実行します。
4. 両方の実行を並べて比較し、変更が出荷する価値があるかどうかを決定します。

注視する点

• 学習者がモデルとプロンプトの両方を同時に変更する場合。比較を解釈しにくくなります。
• 学習者が UI でプロンプトを編集する場合は、アプリが取得するラベルに昇進させる新しい保存済みバージョンが必要であることを忘れます。