07 Đánh giá một thay đổi

Tài liệu hội thảo được duy trì trong kho lưu trữ langfuse/langfuse-workshop công khai. Sử dụng kho lưu trữ cho ứng dụng có thể chạy, nhánh điểm kiểm tra và thiết lập cục bộ.

Xem tệp Markdown này

Hướng dẫn học viên: 07 Đánh giá một Thay đổi

Ghi chú hướng dẫn viên

• Làm cho học viên kiểm tra lần chạy 1 trước khi thay đổi bất cứ điều gì. Thay đổi phải phản ứng với bằng chứng, không phải vibes.
• Giữ lần lặp một cách cố ý nhỏ: một quy tắc lời nhắc, một lần chạy lại, một so sánh.
• Nhấn mạnh regressions. So sánh hữu ích nhất thường là mục có điểm kém hơn.
• Nhắc nhở học viên rằng cả hai điểm thí nghiệm đều ở phía nền tảng bây giờ, vì vậy điểm bị thiếu thường có nghĩa là "vẫn chờ xử lý" hoặc "mục tiêu đánh giá không khớp," không phải lỗi trong scripts/run-dataset.ts.

Nhịp độ Demo

1. Đọc các mục điểm thấp từ lần chạy đầu tiên.
2. Thêm hoặc thúc đẩy phiên bản lời nhắc mới.
3. Chạy npm run dataset:run một lần nữa.
4. So sánh cả hai lần chạy cạnh nhau và quyết định xem liệu thay đổi có đáng để gửi hay không.

Chú ý

• Học viên thay đổi cả mô hình và lời nhắc cùng một lúc, làm cho so sánh khó hiểu.
• Học viên chỉnh sửa lời nhắc trong giao diện người dùng nhưng quên rằng họ cần một phiên bản được lưu mới được thúc đẩy đến nhãn mà ứng dụng tìm nạp.