05 Dataset

Le contenu du workshop est maintenu dans le dépôt public langfuse/langfuse-workshop. Utilisez ce dépôt pour exécuter l’application, accéder aux branches de checkpoint et effectuer la configuration locale.

Afficher ce fichier Markdown

Guide du participant : 05 Dataset

Notes pour le formateur

• Présentez le dataset comme la mise par écrit du périmètre produit : entrées utilisateur attendues, comportement attendu et métadonnées de segmentation.
• Le chemin dans le code est volontairement simple : charger du JSON sélectionné dans Langfuse, puis examiner le dataset hébergé.
• Expliquez pourquoi expectedOutput comporte deux champs : idealAnswer alimente le juge Correctness, tandis que expectedKeywords alimente le contrôle déterministe keyword_overlap du chapitre suivant.
• Reliez ce chapitre au monitoring : les bons éléments de dataset proviennent souvent de traces de production surprenants.

Rythme de la démonstration

1. Ouvrez data/seed-dataset.json et montrez input, expectedOutput et metadata.
2. Exécutez npm run dataset:seed.
3. Ouvrez la liste des datasets et la table des éléments dans Langfuse.

Points d’attention

• Les participants qui s’attendent à une correspondance exacte des réponses. La réponse idéale sert de référence aux évaluateurs, ce n’est pas une cible d’égalité de chaînes.
• Les éléments en double si le script de chargement est exécuté plusieurs fois sur le même projet.