08 Conclusion

Le contenu du workshop est maintenu dans le dépôt public langfuse/langfuse-workshop. Utilisez ce dépôt pour exécuter l’application, accéder aux branches de checkpoint et effectuer la configuration locale.

Afficher ce fichier Markdown

Point de départ

git checkout checkpoint/08-wrap-up

Vous avez parcouru chaque étape de la boucle.

Ce que vous devriez maintenant savoir faire

• Tracer une application LLM de bout en bout et utiliser le résultat comme surface de débogage.
• Relier les prompts aux traces afin qu’un changement de prompt ait un effet mesurable sur le trace suivant.
• Détecter automatiquement des comportements intéressants en production, comme le hors-périmètre ou le désaccord.
• Transformer le périmètre produit en un dataset initial d’exemples réalistes.
• Lancer des expériences sur le même code d’agent, sans implémentation parallèle.
• Comparer les exécutions après des changements et décider quelle configuration est meilleure, à partir des scores et de la lecture des résultats individuels.

Vue d’ensemble

Dans ce workshop, Langfuse est une surface partagée, pas seulement un outil d’observabilité :

• comprendre le comportement — chaque interaction peut être inspectée
• collecter des exemples représentatifs — la production alimente les datasets
• comparer les changements — chaque modification de prompt ou de code possède une référence
• améliorer les systèmes en continu — la boucle se referme sur elle-même

Bonnes questions de conclusion

• Qu’a révélé le tracing qui était auparavant invisible ?
• Quels événements de production surveilleriez-vous en premier dans votre application ?
• Qu’ajouteriez-vous ensuite au dataset initial ?
• Quel changement testeriez-vous après la première itération du prompt ?
• Où la skill /langfuse vous aurait-elle évité le plus de travail manuel dans votre véritable application ?

Comment travailler sur votre propre application

De retour dans votre code, procédez dans cet ordre :

1. Exécutez la CLI Langfuse afin de gérer les prompts, datasets et exécutions depuis le terminal. La CLI utilise les mêmes clés de projet que les SDKs ; aucune connexion séparée n’est nécessaire. Conservez ces valeurs dans le .env local de votre application :

   LANGFUSE_PUBLIC_KEY=pk-lf-...
   LANGFUSE_SECRET_KEY=sk-lf-...
   LANGFUSE_BASE_URL=https://cloud.langfuse.com

   Exécutez ensuite la CLI depuis un shell ayant chargé ce fichier :

   npx langfuse-cli api __schema

   Si vous préférez un binaire global, installez le paquet publié langfuse-cli :

   npm install -g langfuse-cli
   langfuse api __schema

2. Installez la skill Langfuse (/langfuse) — elle regroupe les modèles recommandés de tracing, gestion des prompts, monitoring et évaluation, puis les applique à votre code sans vous obliger à tout réaliser manuellement :

   npx skills add langfuse/skills --skill "langfuse"

3. Choisissez la plus petite partie qui utilise un LLM et connectez d’abord observe(...) + observeOpenAI(...). Obtenez un trace avant toute autre chose.

4. Ajoutez les informations utilisateur/session seulement lorsque vous avez au moins deux utilisateurs ou deux sessions de trafic ; auparavant, elles sont inutiles.

5. Construisez votre premier dataset à partir de traces réels, de discussions avec des experts ou d’exemples passés, pas de votre imagination. Le comportement en production vous indiquera progressivement ce que le dataset doit couvrir.

6. Lancez une expérience, changez une chose, puis relancez. Et recommencez.

Pour une vue d’ensemble de chaque étape, la Langfuse Academy propose des leçons dédiées :

• The AI Engineering Loop
• Tracing
• Monitoring
• Datasets
• Experiments
• Evaluate