07 Évaluer un changement

Le contenu du workshop est maintenu dans le dépôt public langfuse/langfuse-workshop. Utilisez ce dépôt pour exécuter l’application, accéder aux branches de checkpoint et effectuer la configuration locale.

Afficher ce fichier Markdown

Guide du participant : 07 Évaluer un changement

Notes pour le formateur

• Demandez aux participants d’examiner l’exécution 1 avant toute modification. Le changement doit répondre aux preuves, pas à une impression.
• Gardez une itération volontairement petite : une règle de prompt, une nouvelle exécution et une comparaison.
• Insistez sur les régressions. La comparaison la plus utile est souvent l’élément qui s’est dégradé.
• Rappelez que les deux scores d’expérience sont maintenant calculés côté plateforme ; un score absent signifie généralement « encore en attente » ou « cible d’évaluateur incorrecte », et non un bug dans scripts/run-dataset.ts.

Rythme de la démonstration

1. Lisez les éléments mal notés de la première exécution.
2. Ajoutez ou promouvez une nouvelle version du prompt.
3. Exécutez à nouveau npm run dataset:run.
4. Comparez les deux exécutions côte à côte et décidez si le changement mérite d’être déployé.

Points d’attention

• Les participants qui changent simultanément le modèle et le prompt, ce qui rend la comparaison difficile à interpréter.
• Les participants qui modifient le prompt dans l’interface mais oublient d’enregistrer une nouvelle version et de la promouvoir vers le label récupéré par l’application.