07 Đánh giá một thay đổi

Tài liệu hội thảo được duy trì trong kho lưu trữ công khai langfuse/langfuse-workshop repository. Sử dụng kho lưu trữ cho ứng dụng có thể chạy được, các nhánh điểm kiểm tra và thiết lập cục bộ.

Xem tệp Markdown này

Điểm bắt đầu

git checkout checkpoint/07-evaluation

Ứng dụng của bạn được theo dõi, giám sát, có tập dữ liệu được lưu trữ, và ít nhất một lần chạy thử nghiệm với cả keyword_overlap và correctness điểm. Bây giờ bạn thực hiện một thay đổi đối với ứng dụng và chạy lại thử nghiệm để xem liệu nó có giúp hay làm hại.

Hãy xem lần chạy thử nghiệm đầu tiên của bạn trước khi thực hiện thay đổi. Mở tập dữ liệu → tab Chạy và kiểm tra mức trung bình:

• Trung bình correctness — mặt đất cột mục được thẩm phán đánh dấu là thực sự chính xác?
• Trung bình keyword_overlap — khoảng mục đã bao gồm các bước dự kiến?

Mở các mục nơi điểm hoặc là thấp và đọc câu trả lời của agent. Một khám phá điển hình ở giai đoạn này: agent bỏ qua một bước, từ chối cái gì đó mà nó không nên từ chối, hoặc đưa ra lời khuyên chung chung thay vì các hướng dẫn cụ thể về iPhone. Bất kỳ điều gì bạn thấy là vấn đề bạn sắp cố gắng sửa chữa.

Tại sao đánh giá các thay đổi bằng các thử nghiệm

Nếu bạn thay đổi bất kỳ điều gì về ứng dụng AI của bạn — một lời nhắc, một mô hình, ngữ cảnh bạn chuyển, thậm chí kiến trúc agent — bạn muốn biết liệu thay đổi có thực sự làm cho hệ thống tốt hơn. Nhìn vào một hoặc hai đầu ra cảm thấy tốt nhưng không khái quát. Chạy lại cùng một tập dữ liệu đối với phiên bản mới và so sánh điểm đó lại lần chạy cũ là điều gần nhất cho một phép đo.

Đây cũng là những gì cho phép bạn đóng vòng lặp và gửi với sự tự tin: khi trung bình lần chạy mới của bạn tăng lên (và bạn đọc đủ các mục riêng lẻ để chắc chắn điểm phản ánh thực tế), bạn có bằng chứng để triển khai thay đổi.

Những gì bạn có thể thay đổi

Chương này được xây dựng xung quanh lặp lại lời nhắc vì thay đổi lời nhắc là tay cầm ma sát thấp nhất. Cùng một quy trình làm việc áp dụng nếu bạn thay đổi:

• Mô hình — thử một mô hình mạnh hơn hoặc rẻ hơn và chạy lại.
• Ngữ cảnh — thêm hoặc xóa các trường từ lời nhắc hệ thống hoặc kết quả công cụ.
• Kiến trúc agent — thêm một công cụ, thay đổi thứ tự công cụ, thay đổi thử lại.
• Lời nhắc — những gì chúng tôi sẽ làm ở đây.

Hình dạng luôn giống nhau: thay đổi một điều (hoặc một cấu hình của nhiều biến), chạy lại tập dữ liệu, so sánh chạy cạnh nhau.

Mục tiêu

Thay đổi một cái gì đó trong lời nhắc và cải thiện kết quả thử nghiệm — được đo bằng correctness và keyword_overlap tăng lên trên toàn bộ tập dữ liệu.

Ba lần vượt qua:

1. Thay đổi một cái gì đó — hoán đổi biến thể lời nhắc hoặc chỉnh sửa trong giao diện người dùng Langfuse.
2. Chạy lại tập dữ liệu đối với lời nhắc mới.
3. So sánh chạy cạnh nhau và quyết định xem có gửi hay không.

Bước 1 — Thay đổi lời nhắc

Thay đổi bạn thực hiện nên được thông báo bởi những gì bạn thấy trong lần chạy 1 — ví dụ, các mục nơi correctness thấp vì agent nhảy quanh một câu hỏi ngoài phạm vi thay vì từ chối nó một cách sạch sẽ. Một chỉnh sửa cụ thể giải quyết vấn đề đó:

Thêm một quy tắc nói: "Nếu một yêu cầu ở ngoài trợ giúp iPhone (thuế, đặt chuyến du lịch, bất kỳ thứ gì cần quyền truy cập tài khoản trực tiếp), hãy nói ngay lập tức trong một câu ngắn — những gì bạn không thể giúp và những gì bạn có thể — rồi dừng lại. Không cố gắng trả lời yêu cầu."

Điều đó làm cho hành vi ngoài phạm vi rõ ràng thay vì để mô hình tự do.

Hai cách để thực hiện thay đổi:

Tùy chọn A — Phía Langfuse (tạo một phiên bản mới trong giao diện người dùng, được khuyến nghị):

Lời nhắc → dad-it-support-agent → tạo một phiên bản mới hoặc bản nháp → thêm quy tắc ở trên vào phần Quy tắc → lưu phiên bản đó → thúc đẩy phiên bản mới để production nhãn. Trình phân giải tìm nạp theo nhãn, vì vậy yêu cầu tiếp theo chọn phiên bản mới một cách tự động. Đây là quy trình làm việc đội của bạn sẽ sử dụng để lặp lại liên tục trong sản xuất.

Tùy chọn B — Phía mã (chỉnh sửa src/server/support-agent.ts và xuất bản lại):

Mở src/server/support-agent.ts, thêm quy tắc giống hệt trong phần SYSTEM_PROMPT hằng số Quy tắc, sau đó xuất bản:

npm run prompt:publish

Kho lưu trữ cũng vận chuyển biến thể gentler bạn có thể chuyển đổi thành như-là (WORKSHOP_PROMPT_VARIANT=gentler npm run prompt:publish) — hữu ích nếu bạn chỉ muốn xem bất kỳ thay đổi lời nhắc nào thay vì thiết kế của riêng bạn.

Dù bằng cách nào, bạn sẽ kết thúc bằng một phiên bản lời nhắc mới, và runSupportConversation(...) cuộc gọi tiếp theo sử dụng nó.

Bước 2 — Chạy lại tập dữ liệu

npm run dataset:run

Bây giờ bạn có hai lần chạy dưới cùng một tập dữ liệu, mỗi liên kết với một phiên bản lời nhắc khác nhau. Cùng keyword_overlap đánh giá bộ đánh giá tập lệnh và correctness bộ đánh giá từ bước 06 ghi điểm lần chạy mới một cách tự động.

Bước 3 — So sánh

Trong Langfuse:

• Tập dữ liệu → tab Chạy → cả hai hàng có thể nhìn thấy với keyword_overlap và correctness trung bình.
• Chế độ xem biểu đồ → trung bình mỗi lần chạy cạnh nhau.
• Thêm lần chạy mới làm 'So sánh với' trong thanh bên

Những điều cần tìm:

• Mục nào được cải thiện (có ý định).
• Mục nào bị suy thoái (phần làm cho đánh giá cảm thấy hữu ích).
• Liệu thay đổi lời nhắc có dịch chuyển phạm vi (từ chối nhiều hơn? câu trả lời tự tin hơn? nhiều bước hơn mỗi câu trả lời?).

Cách xác minh bạn đã hoàn thành

• Hai lần chạy xuất hiện dưới tập dữ liệu, liên kết với các phiên bản lời nhắc khác nhau.
• Cả hai điểm (keyword_overlap, correctness) có trung bình bạn có thể so sánh.
• Nếu một điểm vẫn đang chờ, làm mới sau khi hàng đợi bộ đánh giá kết thúc.

Tóm tắt

Đóng vòng lặp — thay đổi → chạy lại → so sánh → quyết định — là những gì làm cho thay đổi lời nhắc hoặc mô hình đi từ các cuộc gọi bụng vào các quyết định kỹ thuật. Mỗi thay đổi trong tương lai có một đường cơ sở miễn phí để đo lường so với.

Các kỹ năng Langfuse (/langfuse) va chạm phiên bản lời nhắc, liên kết chạy với phiên bản, và tạo ra biểu đồ so sánh một cách tự động — hướng dẫn này tồn tại để bạn thấy những gì kỹ năng đang làm dưới cái nắp.

Trạng thái cuối cùng

Đây là điểm bắt đầu cho 08-wrap-up.