O ciclo de engenharia de IA, de ponta a ponta.
Um workshop passo a passo de Langfuse baseado em uma pequena aplicação TypeScript: o Dad IT Support Agent. O workshop percorre todo o ciclo de engenharia de IA com Langfuse: tracing, gerenciamento de prompts, monitoramento, datasets, experimentos e avaliação.
O que você fará
Deixe a aplicação do workshop rodando localmente com as credenciais da OpenAI e do Langfuse. Depois, você pode percorrer 01-base-app e começar a implementar em 02-tracing.
Você pode personalizar a experiência alterando as especificações do telefone em support-data.ts. Ao adicionar as informações do telefone do seu pai, as respostas serão adequadas ao aparelho correto.
Este é o ponto inicial da etapa de tracing — o mesmo código de checkpoint/01-base-app, ainda sem integração com o Langfuse. Os pacotes já estão em package.json — execute npm inst...
Você tem uma aplicação funcional com tracing. O prompt de sistema está na constante SYSTEMPROMPT em src/server/support-agent.ts e é usado diretamente como mensagem de sistema.
Você tem uma aplicação com tracing e prompts opcionais gerenciados pelo Langfuse. Cada turno chega ao Langfuse como um trace aninhado.
Você tem uma aplicação com tracing, atribuição e monitoramento. data/seed-dataset.json e scripts/seed-dataset.ts já estão no repositório neste checkpoint.
Seu dataset foi carregado no Langfuse. scripts/run-dataset.ts já está no repositório.
Sua aplicação tem tracing, monitoramento, um dataset hospedado e ao menos uma execução de experimento com pontuações keywordoverlap e correctness. Agora você altera a aplicação e executa novamente...
Você percorreu todas as etapas do ciclo.