08 Chat e Langfuse

Execute o chat com IA no aplicativo e verifique seu trace, tokens, latência e custo no Langfuse.

Resultado

Em cerca de 15 minutos, o aplicativo responderá a uma pergunta sobre os dados, e o Langfuse mostrará o trace completo do modelo. Comece somente depois que o módulo 07 tiver sido recuperado e git branch --show-current retornar build-workshop-v1.

Etapa 1 — Verifique as chaves

Confirme se os campos abaixo estão preenchidos em workshops/build_workshop/app/.env.workshop. A URL do Langfuse deve corresponder à região do seu projeto.

OPENAI_API_KEY=sk-...
LLM_MODEL=<model from the template>
LLM_BASE_URL=https://api.openai.com/v1
LANGFUSE_PUBLIC_KEY=pk-lf-...
LANGFUSE_SECRET_KEY=sk-lf-...
LANGFUSE_BASE_URL=https://us.cloud.langfuse.com

Reinicie apenas o back-end instrumentado:

cd "$(git rev-parse --show-toplevel)/workshops/build_workshop/app"
docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  up -d --build backend

Verifique se ele está íntegro:

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  ps backend

Etapa 2 — Faça uma pergunta verificável

Abra localhost:8080, selecione Ask AI e digite:

What are the top 10 pickup zones by trip count in July 2022?
Show the SQL and the result.

Resultado esperado: uma resposta, uma tabela ou um gráfico com os resultados e um controle Show SQL. Leia o SQL gerado e confirme se ele consulta nyc_tlc_data antes de confiar na resposta.

O painel Ask AI mostrando uma resposta, uma tabela de resultados, um gráfico e o controle Show SQL

Etapa 3 — Encontre o trace correspondente no Langfuse

Abra o projeto do Langfuse criado no módulo 00 e selecione o trace chat mais recente. Relacione-o à sua pergunta pelo carimbo de data e hora ou pelo texto de entrada.

Verifique estes campos:

pergunta de entrada e saída gerada;
modelo e latência;
contagens de tokens de entrada/saída e custo;
ID da sessão ou conversa.

Um trace de chat no Langfuse mostrando a chamada ao modelo, latência, tokens, custo, prompt e saída

Se nenhum trace aparecer, confira primeiro os logs do back-end:

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  logs --tail=100 backend

A causa comum é um LANGFUSE_BASE_URL que não corresponde à região do projeto.

Etapa 4 — Verifique o agrupamento da conversa

Faça uma pergunta complementar no mesmo chat:

For those zones, compare average fare and average tip.

O Langfuse deve mostrar uma segunda interação rastreada na mesma conversa/sessão.

Verificação de conclusão

O chat retorna uma resposta fundamentada e SQL visível.
As duas interações aparecem no Langfuse.
Você consegue ver o modelo, a latência, os tokens e o custo.
As duas interações compartilham a mesma conversa/sessão.

Continue em 09 Encerramento.