Parcours formateur
Timing, fil conducteur, problèmes fréquents et procédures de reprise pour les animateurs.
Voici le parcours formateur : le guide d'animation qui accompagne le parcours participant. Chaque module reflète la leçon correspondante et ajoute le timing, le fil conducteur, les problèmes fréquents et les procédures de reprise nécessaires à une session en direct.
L'atelier suit un arc unique : sélectionner le modèle de base → mesurer hors ligne → publier et détecter → enquêter avec un humain → prouver et surveiller l'amélioration.
Durée totale
| Module | Leçon participant | Notes formateur | Résultat | Durée |
|---|---|---|---|---|
| 00 | Configuration | notes | Connecter OpenRouter, ClickHouse et Langfuse ; initialiser les données Agent Arena. | 20 min |
| 01 | Sélectionner le modèle de base | notes | Exécuter la compétition et choisir une configuration selon le coût par réponse correcte. | 20 min |
| 02 | Mesurer hors ligne | notes | Lire les scores et traces hors ligne du gagnant avant publication. | 15 min |
| 03 | Publier et détecter | notes | Publier la politique obsolète et capturer le désaccord entre réussite de l'evaluator et rejet de l'utilisateur. | 15 min |
| 04 | Enquêter | notes | Réaliser un diagnostic humain fondé d'abord sur les preuves et transmettre la sortie corrigée. | 20 min |
| 05 | Boucler la boucle | notes | Étendre le dataset de référence, prouver la correction et activer une protection en ligne calibrée. | 25 min |
Cela représente 115 minutes — environ 1 heure et 55 minutes — de pratique pour la session complète, auxquelles s'ajoutent les transitions.
Préparation de la salle
- Un
.envpar participant (ou binôme), renseigné avec ses propres comptes OpenRouter, Langfuse Cloud et ClickHouse Cloud. Les identifiants ne sont pas partagés, car le Module 00 provisionne aussi un utilisateur ClickHouse dédié en lecture seulearena_ropour chaque initialisation. - Projetez votre propre projet Langfuse Cloud, distinct de ceux des participants, pour présenter les expériences, traces de production, annotations et evaluators des Modules 01 à 05.
- Gardez un terminal prêt à exécuter
scripts/arena.sh status: il indique si l'API du dashboard et l'interface web fonctionnent, et affiche le nombre de lignes de chaque vuev_*.scripts/arena.sh upinitialise le dataset métier ClickHouse et démarre les services locaux ; les résultats du benchmark résident dans Langfuse (sans Aurora, ClickPipes ni ClickStack dans cet atelier).
Liste des prérequis
Vérifiez ces points avant le Module 00, idéalement la veille :
- Les participants ont créé (ou reçu) des comptes OpenRouter, Langfuse Cloud et ClickHouse Cloud, avec de vraies clés API et non des placeholders.
- Ils ont cloné le dépôt et peuvent créer un environnement virtuel Python (
python -m venv .venv && source .venv/bin/activate && pip install -r requirements.txt). - Node.js est installé pour l'onglet web Chat (
cd web && npm install), requis dès le Module 00 (dashboard), puis au Module 03 (onglet Chat). - Vous avez lu
eval/langfuse_evaluators/README.md: la configuration initiale des evaluators Langfuse au Module 01 est l'étape la plus délicate de la session et mérite une répétition. - Vous savez exécuter
source .env && scripts/arena.sh upde bout en bout avant la session et reconnaître une initialisation correcte lorsqu'un participant obtient un résultat différent.