08 Chat et Langfuse

Utilisez le chat IA intégré à l’application et vérifiez sa trace, ses jetons, sa latence et son coût dans Langfuse.

Résultat attendu

En environ 15 minutes, l’application répondra à une question sur les données et Langfuse affichera la trace complète du modèle. Ne commencez qu’une fois le module 07 rétabli et git branch --show-current revenu à build-workshop-v1.

Étape 1 — Vérifier les clés

Confirmez que les champs suivants sont renseignés dans workshops/build_workshop/app/.env.workshop. L’URL Langfuse doit correspondre à la région de votre projet.

OPENAI_API_KEY=sk-...
LLM_MODEL=<model from the template>
LLM_BASE_URL=https://api.openai.com/v1
LANGFUSE_PUBLIC_KEY=pk-lf-...
LANGFUSE_SECRET_KEY=sk-lf-...
LANGFUSE_BASE_URL=https://us.cloud.langfuse.com

Ne redémarrez que le back-end instrumenté :

cd "$(git rev-parse --show-toplevel)/workshops/build_workshop/app"
docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  up -d --build backend

Vérifiez qu’il est opérationnel :

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  ps backend

Étape 2 — Poser une question vérifiable

Ouvrez localhost:8080, sélectionnez Ask AI et saisissez :

What are the top 10 pickup zones by trip count in July 2022?
Show the SQL and the result.

Résultat attendu : une réponse, un tableau de résultats ou un graphique, ainsi qu’une commande Show SQL. Lisez le SQL généré et vérifiez qu’il interroge nyc_tlc_data avant de vous fier à la réponse.

Panneau Ask AI affichant une réponse, un tableau de résultats, un graphique et la commande Show SQL

Étape 3 — Trouver la trace Langfuse correspondante

Ouvrez le projet Langfuse créé au module 00 et sélectionnez la trace chat la plus récente. Associez-la à votre question grâce à l’horodatage ou au texte saisi.

Vérifiez les champs suivants :

question saisie et réponse générée ;
modèle et latence ;
nombre de jetons en entrée et en sortie, ainsi que le coût ;
identifiant de session ou de conversation.

Trace de chat Langfuse présentant l’appel au modèle, la latence, les jetons, le coût, l’instruction et la réponse

Si aucune trace n’apparaît, commencez par consulter les journaux du back-end :

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  logs --tail=100 backend

La cause la plus fréquente est une valeur LANGFUSE_BASE_URL qui ne correspond pas à la région du projet.

Étape 4 — Vérifier le regroupement de la conversation

Posez une question complémentaire dans le même chat :

For those zones, compare average fare and average tip.

Langfuse doit afficher un second échange tracé dans la même conversation ou session.

Vérification finale

Le chat renvoie une réponse fondée sur les données et un SQL visible.
Les deux échanges apparaissent dans Langfuse.
Vous pouvez consulter le modèle, la latence, les jetons et le coût.
Les deux échanges partagent la même conversation ou session.

Passez à 09 Conclusion.