08 Cierre

El material del workshop se mantiene en el repositorio público langfuse/langfuse-workshop. Usa el repositorio para ejecutar la aplicación, acceder a las ramas de checkpoint y realizar la configuración local.

Ver este archivo Markdown

Punto de partida

git checkout checkpoint/08-wrap-up

Has recorrido todas las etapas del ciclo.

Lo que ya deberías poder hacer

• Trazar una aplicación LLM de extremo a extremo y usar el resultado para depurar.
• Conectar prompts con traces para que un cambio del prompt tenga un efecto medible en el trace siguiente.
• Detectar automáticamente comportamientos relevantes en producción, como solicitudes fuera de alcance o desacuerdos.
• Convertir el alcance del producto en un dataset inicial de ejemplos realistas.
• Ejecutar experimentos sobre el mismo código del agente, sin una implementación paralela.
• Comparar ejecuciones después de los cambios y decidir qué configuración es mejor, tanto por puntuación como leyendo resultados individuales.

Visión general

En este workshop, Langfuse es una superficie compartida, no solo observabilidad:

• entender el comportamiento: cada interacción se puede examinar
• recopilar ejemplos representativos: la producción alimenta datasets
• comparar cambios: cada cambio de prompt o código tiene una línea base
• mejorar sistemas continuamente: el ciclo vuelve sobre sí mismo

Buenas preguntas de cierre

• ¿Qué reveló el tracing que antes era invisible?
• ¿Qué eventos de producción monitorizarías primero en tu aplicación?
• ¿Qué añadirías a continuación al dataset inicial?
• ¿Qué cambio probarías después de la primera iteración del prompt?
• ¿Dónde habría evitado más trabajo manual la skill /langfuse en tu aplicación real?

Cómo trabajar en tu propia aplicación

Al volver a tu código, sigue este orden:

1. Ejecuta la CLI de Langfuse para gestionar prompts, datasets y ejecuciones desde el terminal. La CLI utiliza las mismas claves de proyecto que los SDKs; no hay un inicio de sesión separado. Guarda esos valores en el .env local de tu aplicación:

   LANGFUSE_PUBLIC_KEY=pk-lf-...
   LANGFUSE_SECRET_KEY=sk-lf-...
   LANGFUSE_BASE_URL=https://cloud.langfuse.com

   Después, ejecuta la CLI desde un shell que haya cargado ese archivo:

   npx langfuse-cli api __schema

   Si prefieres un binario global, instala el paquete publicado langfuse-cli:

   npm install -g langfuse-cli
   langfuse api __schema

2. Instala la skill de Langfuse (/langfuse) — reúne los patrones recomendados de tracing, gestión de prompts, monitorización y evaluación, y los aplica a tu código sin que implementes cada pieza a mano:

   npx skills add langfuse/skills --skill "langfuse"

3. Elige la superficie más pequeña que use LLM y conecta primero observe(...) + observeOpenAI(...). Obtén un trace antes de hacer nada más.

4. Añade información de usuario y sesión solo cuando tengas al menos dos usuarios o dos sesiones de tráfico; antes no aporta nada.

5. Crea tu primer dataset a partir de traces reales, conversaciones con expertos o ejemplos anteriores, no de la imaginación. El comportamiento de producción te mostrará con el tiempo qué debe cubrir.

6. Ejecuta un experimento, cambia una cosa y vuelve a ejecutarlo. Después, repite.

Para una visión más amplia de cada paso, la Langfuse Academy ofrece lecciones específicas:

• The AI Engineering Loop
• Tracing
• Monitoring
• Datasets
• Experiments
• Evaluate