07 Evaluar un cambio

El material del workshop se mantiene en el repositorio público langfuse/langfuse-workshop. Usa el repositorio para ejecutar la aplicación, acceder a las ramas de checkpoint y realizar la configuración local.

Ver este archivo Markdown

Guía del participante: 07 Evaluar un cambio

Notas para el instructor

• Haz que los participantes examinen la ejecución 1 antes de cambiar nada. El cambio debe responder a la evidencia, no a una impresión.
• Mantén la iteración deliberadamente pequeña: una regla del prompt, una nueva ejecución y una comparación.
• Destaca las regresiones. La comparación más útil suele ser el elemento que empeoró.
• Recuerda que ahora las dos puntuaciones del experimento se calculan en la plataforma; una puntuación ausente suele significar “aún pendiente” u “objetivo del evaluador incorrecto”, no un error en scripts/run-dataset.ts.

Ritmo de la demostración

1. Lee los elementos con puntuación baja de la primera ejecución.
2. Añade o promociona una nueva versión del prompt.
3. Ejecuta de nuevo npm run dataset:run.
4. Compara ambas ejecuciones en paralelo y decide si merece la pena publicar el cambio.

Presta atención

• Participantes que cambien el modelo y el prompt a la vez, dificultando la interpretación de la comparación.
• Participantes que editen el prompt en la interfaz pero olviden guardar una nueva versión y promocionarla al label que recupera la aplicación.