08 Encerramento

O material do workshop é mantido no repositório público langfuse/langfuse-workshop. Use o repositório para executar a aplicação, acessar os branches de checkpoint e fazer a configuração local.

Ver este arquivo Markdown

Ponto de partida

git checkout checkpoint/08-wrap-up

Você percorreu todas as etapas do ciclo.

O que você deve saber fazer agora

• Rastrear uma aplicação LLM de ponta a ponta e usar o resultado para depuração.
• Conectar prompts a traces para que uma mudança no prompt tenha efeito mensurável no trace seguinte.
• Detectar automaticamente comportamentos relevantes em produção, como fora do escopo e discordância.
• Transformar o escopo do produto em um dataset inicial de exemplos realistas.
• Executar experimentos usando o mesmo código do agente, sem uma implementação paralela.
• Comparar execuções depois de mudanças e decidir qual configuração é melhor, pela pontuação e pela leitura dos resultados individuais.

Visão geral

Neste workshop, o Langfuse é uma superfície compartilhada, não apenas observabilidade:

• compreender o comportamento — toda interação pode ser examinada
• coletar exemplos representativos — a produção alimenta datasets
• comparar mudanças — toda mudança de prompt ou código tem uma linha de base
• melhorar sistemas continuamente — o ciclo se fecha sobre si mesmo

Boas perguntas de encerramento

• O que o tracing revelou que antes era invisível?
• Quais eventos de produção você monitoraria primeiro em sua aplicação?
• O que você acrescentaria ao dataset inicial?
• Que mudança testaria depois da primeira iteração do prompt?
• Em que ponto da sua aplicação real a skill /langfuse teria evitado mais trabalho manual?

Como trabalhar na sua própria aplicação

Ao voltar à sua base de código, siga esta ordem:

1. Execute a CLI do Langfuse para gerenciar prompts, datasets e execuções pelo terminal. A CLI usa as mesmas chaves de projeto dos SDKs, sem uma etapa de login separada. Guarde esses valores no .env local da aplicação:

   LANGFUSE_PUBLIC_KEY=pk-lf-...
   LANGFUSE_SECRET_KEY=sk-lf-...
   LANGFUSE_BASE_URL=https://cloud.langfuse.com

   Em seguida, execute a CLI em um shell que carregou esse arquivo:

   npx langfuse-cli api __schema

   Se preferir um binário global, instale o pacote publicado langfuse-cli:

   npm install -g langfuse-cli
   langfuse api __schema

2. Instale a skill do Langfuse (/langfuse) — ela reúne os padrões recomendados de tracing, gerenciamento de prompts, monitoramento e avaliação e os aplica à sua base sem que você implemente cada parte manualmente:

   npx skills add langfuse/skills --skill "langfuse"

3. Escolha a menor superfície que use LLM e conecte primeiro observe(...) + observeOpenAI(...). Gere um trace antes de fazer qualquer outra coisa.

4. Acrescente informações de usuário e sessão somente quando houver ao menos dois usuários ou duas sessões de tráfego; antes disso, elas não agregam valor.

5. Crie seu primeiro dataset a partir de traces reais, conversas com especialistas ou exemplos anteriores, não da imaginação. O comportamento em produção mostrará, com o tempo, o que ele precisa cobrir.

6. Execute um experimento, mude uma coisa e execute novamente. Depois, repita.

Para uma visão mais ampla de cada etapa, a Langfuse Academy tem lições dedicadas:

• The AI Engineering Loop
• Tracing
• Monitoring
• Datasets
• Experiments
• Evaluate