08 Chat y Langfuse

Ejecuta el chat con IA de la aplicación y verifica su trace, tokens, latencia y coste en Langfuse.

Resultado

En unos 15 minutos, la aplicación responderá una pregunta sobre los datos y Langfuse mostrará el trace completo del modelo. Empieza solo después de recuperar el módulo 07 y de que git branch --show-current devuelva build-workshop-v1.

Paso 1: verifica las claves

Confirma que estos campos estén rellenos en workshops/build_workshop/app/.env.workshop. La URL de Langfuse debe coincidir con la región de tu proyecto.

OPENAI_API_KEY=sk-...
LLM_MODEL=<model from the template>
LLM_BASE_URL=https://api.openai.com/v1
LANGFUSE_PUBLIC_KEY=pk-lf-...
LANGFUSE_SECRET_KEY=sk-lf-...
LANGFUSE_BASE_URL=https://us.cloud.langfuse.com

Reinicia solo el back-end instrumentado:

cd "$(git rev-parse --show-toplevel)/workshops/build_workshop/app"
docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  up -d --build backend

Comprueba que esté en buen estado:

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  ps backend

Paso 2: haz una pregunta verificable

Abre localhost:8080, selecciona Ask AI e introduce:

What are the top 10 pickup zones by trip count in July 2022?
Show the SQL and the result.

Resultado esperado: una respuesta, una tabla o gráfico de resultados y un control Show SQL. Lee el SQL generado y confirma que consulta nyc_tlc_data antes de confiar en la respuesta.

El panel Ask AI muestra una respuesta, una tabla de resultados, un gráfico y el control Show SQL

Paso 3: encuentra el trace correspondiente en Langfuse

Abre el proyecto de Langfuse creado en el módulo 00 y selecciona el trace chat más reciente. Relaciónalo con tu pregunta mediante la marca de tiempo o el texto de entrada.

Verifica estos campos:

pregunta de entrada y salida generada;
modelo y latencia;
recuentos de tokens de entrada y salida, y coste;
ID de sesión o conversación.

Un trace de chat de Langfuse muestra la llamada al modelo, la latencia, los tokens, el coste, el prompt y la salida

Si no aparece ningún trace, comprueba primero los registros del back-end:

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  logs --tail=100 backend

La causa habitual es que LANGFUSE_BASE_URL no coincide con la región del proyecto.

Paso 4: verifica la agrupación de la conversación

Haz una pregunta de seguimiento en el mismo chat:

For those zones, compare average fare and average tip.

Langfuse debería mostrar un segundo turno registrado en la misma conversación o sesión.

Comprobación final

El chat devuelve una respuesta fundamentada y SQL visible.
Ambos turnos aparecen en Langfuse.
Puedes consultar el modelo, la latencia, los tokens y el coste.
Ambos turnos comparten la misma conversación o sesión.

Continúa en 09 Cierre.