Itinerario del instructor
Tiempos, guion, fallos habituales y pasos de recuperación para facilitadores.
Este es el itinerario del instructor: la guía del facilitador que acompaña al itinerario del participante. Cada módulo refleja su lección correspondiente y añade tiempos, guion, fallos habituales y pasos de recuperación para dirigir la sesión en vivo.
El taller sigue un único arco: seleccionar el modelo base → medir offline → publicar y detectar → investigar con una persona → demostrar y monitorizar la mejora.
Tiempo total
| Módulo | Lección del participante | Notas del instructor | Resultado | Tiempo |
|---|---|---|---|---|
| 00 | Configuración | notas | Conectar OpenRouter, ClickHouse y Langfuse; preparar los datos de Agent Arena. | 20 min |
| 01 | Seleccionar el modelo base | notas | Ejecutar la competición y elegir una configuración por coste por respuesta correcta. | 20 min |
| 02 | Medir offline | notas | Leer las puntuaciones y trazas offline del ganador antes de publicarlo. | 15 min |
| 03 | Publicar y detectar | notas | Publicar la política obsoleta y capturar el desacuerdo entre aprobación del evaluator y rechazo del usuario. | 15 min |
| 04 | Investigar | notas | Completar un diagnóstico humano basado primero en pruebas y entregar la salida corregida. | 20 min |
| 05 | Cerrar el ciclo | notas | Ampliar el dataset dorado, demostrar la corrección y activar una protección online calibrada. | 25 min |
Son 115 minutos —aproximadamente 1 hora y 55 minutos— de trabajo práctico para la sesión completa, más las transiciones.
Preparación de la sala
- Un
.envpor participante (o pareja), con sus propias cuentas de OpenRouter, Langfuse Cloud y ClickHouse Cloud. No se comparten credenciales, porque el Módulo 00 también aprovisiona un usuario de ClickHouse de solo lecturaarena_ropara cada preparación. - Proyecta tu propio proyecto de Langfuse Cloud, separado de los proyectos de los participantes, para mostrar experimentos, trazas de producción, anotaciones y evaluators en los Módulos 01–05.
- Ten un terminal listo para ejecutar
scripts/arena.sh status: informa si la API del dashboard y la interfaz web están activas y muestra el número de filas de cada vistav_*.scripts/arena.sh upprepara el dataset de negocio de ClickHouse e inicia los servicios locales; los resultados del benchmark viven en Langfuse (sin Aurora, ClickPipes ni ClickStack en este taller).
Lista de requisitos previos
Confirma todo antes del Módulo 00, idealmente el día anterior:
- Los participantes han creado (o recibido) cuentas en OpenRouter, Langfuse Cloud y ClickHouse Cloud, con claves API reales, no placeholders.
- Han clonado el repositorio y pueden crear un entorno virtual de Python (
python -m venv .venv && source .venv/bin/activate && pip install -r requirements.txt). - Node.js está instalado para la pestaña web Chat (
cd web && npm install), necesaria en el Módulo 00 (dashboard) y otra vez en el Módulo 03 (pestaña Chat). - Has leído
eval/langfuse_evaluators/README.md: la configuración única de evaluators de Langfuse del Módulo 01 es la etapa más delicada y conviene ensayarla. - Puedes ejecutar
source .env && scripts/arena.sh upde principio a fin antes de la sesión y sabes reconocer una preparación correcta cuando la de un participante difiere.