07 Avaliar uma mudança

O material do workshop é mantido no repositório público langfuse/langfuse-workshop. Use o repositório para executar a aplicação, acessar os branches de checkpoint e fazer a configuração local.

Ver este arquivo Markdown

Guia do participante: 07 Avaliar uma mudança

Notas para o instrutor

• Faça os participantes examinarem a execução 1 antes de mudar qualquer coisa. A mudança deve responder às evidências, não à intuição.
• Mantenha a iteração deliberadamente pequena: uma regra de prompt, uma nova execução e uma comparação.
• Destaque as regressões. A comparação mais útil muitas vezes é o item que piorou.
• Lembre que as duas pontuações do experimento agora são calculadas na plataforma; a ausência de uma pontuação normalmente significa “ainda pendente” ou “alvo do avaliador incompatível”, não um bug em scripts/run-dataset.ts.

Ritmo da demonstração

1. Leia os itens com pontuação baixa na primeira execução.
2. Adicione ou promova uma nova versão do prompt.
3. Execute npm run dataset:run novamente.
4. Compare as duas execuções lado a lado e decida se vale a pena publicar a mudança.

Fique atento

• Participantes alterando modelo e prompt ao mesmo tempo, o que dificulta interpretar a comparação.
• Participantes editando o prompt na interface, mas esquecendo de salvar uma nova versão e promovê-la ao label buscado pela aplicação.