08 Chat và Langfuse

Kết quả

Trong khoảng 15 phút, ứng dụng sẽ trả lời một câu hỏi về dữ liệu và Langfuse sẽ hiển thị trace hoàn chỉnh của model. Chỉ bắt đầu sau khi Module 07 đã được phục hồi và git branch --show-current trả về build-workshop-v1.

Bước 1 — Kiểm chứng các key

Hãy xác nhận các field này đã được điền trong workshops/build_workshop/app/.env.workshop. URL Langfuse phải khớp với region của project bạn.

OPENAI_API_KEY=sk-...
LLM_MODEL=<model from the template>
LLM_BASE_URL=https://api.openai.com/v1
LANGFUSE_PUBLIC_KEY=pk-lf-...
LANGFUSE_SECRET_KEY=sk-lf-...
LANGFUSE_BASE_URL=https://us.cloud.langfuse.com

Chỉ khởi động lại back end đã được instrument:

cd "$(git rev-parse --show-toplevel)/workshops/build_workshop/app"
docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  up -d --build backend

Kiểm chứng nó khỏe mạnh:

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  ps backend

Bước 2 — Đặt một câu hỏi kiểm chứng được

Hãy mở localhost:8080, chọn Ask AI, và nhập:

What are the top 10 pickup zones by trip count in July 2022?
Show the SQL and the result.

Kết quả mong đợi: một câu trả lời, bảng kết quả hoặc biểu đồ, và một control Show SQL. Hãy đọc SQL đã sinh và xác nhận nó truy vấn nyc_tlc_data trước khi tin vào câu trả lời.

Bước 3 — Tìm trace Langfuse tương ứng

Hãy mở project Langfuse đã tạo ở Module 00 và chọn trace chat mới nhất. Hãy khớp nó với câu hỏi của bạn theo timestamp hoặc theo nội dung input.

Hãy kiểm chứng các field sau:

• câu hỏi input và output đã sinh;
• model và độ trễ;
• số token input/output và chi phí; và
• session hoặc conversation ID.

Nếu không thấy trace nào, hãy kiểm tra log của back end trước:

docker compose --env-file .env.workshop \
  -f docker-compose.workshop.yml \
  -f docker-compose.otel.yml \
  logs --tail=100 backend

Nguyên nhân thường gặp là LANGFUSE_BASE_URL không khớp với region của project.

Bước 4 — Kiểm chứng việc nhóm theo cuộc hội thoại

Hãy đặt một câu hỏi tiếp theo trong cùng cuộc chat:

For those zones, compare average fare and average tip.

Langfuse sẽ hiển thị lượt hội thoại thứ hai đã được trace dưới cùng conversation/session đó.

Kiểm tra hoàn thành

• Chat trả về một câu trả lời có căn cứ và SQL thấy được.
• Cả hai lượt hội thoại đều xuất hiện trong Langfuse.
• Bạn đọc được model, độ trễ, token, và chi phí.
• Cả hai lượt cùng chia sẻ một conversation/session.

Tiếp tục tới 09 Tổng kết.