Hội thảo Langfuse - vòng lặp kỹ thuật AI, từ đầu đến cuối
Đây là một hội thảo Langfuse từng bước được xây dựng trên một ứng dụng mẫu TypeScript nhỏ: Đặc vụ Hỗ trợ IT của Bố. Hội thảo bao gồm toàn bộ vòng lặp kỹ thuật AI với Langfuse...
Tài liệu hội thảo được duy trì trong kho lưu trữ langfuse/langfuse-workshop công khai. Sử dụng kho lưu trữ cho ứng dụng có thể chạy, nhánh điểm kiểm tra và thiết lập cục bộ.
Đây là một hội thảo Langfuse từng bước được xây dựng trên một ứng dụng mẫu TypeScript nhỏ: Đặc vụ Hỗ trợ IT của Bố. Hội thảo bao gồm toàn bộ vòng lặp kỹ thuật AI với Langfuse: tracing, quản lý prompt, giám sát, datasets, thí nghiệm và đánh giá.
Bạn có thể hoàn thành hội thảo một mình từ các bài học cho học viên, hoặc sử dụng ghi chú hướng dẫn viên để dạy cùng một tài liệu cho một nhóm.
Dành cho học viên
Bắt đầu với các bài học cho học viên trong docs/learner/. Mỗi bài học cho bạn biết nhánh điểm kiểm tra nào cần kiểm tra, những gì cần thay đổi trong mã hoặc cấu hình trong Langfuse, và cách xác minh kết quả.
Sử dụng con đường học tập nếu bạn muốn:
- Ghi lại trace đầu tiên của bạn từ một ứng dụng LLM thực tế và hiểu những gì bạn đang xem.
- Chuyển một prompt vào Langfuse để các thay đổi được phiên bản và liên kết với traces.
- Giám sát hành vi sản xuất mà không cần đọc từng trace bằng tay.
- Xây dựng một dataset, chạy thí nghiệm và đánh giá các thay đổi với bằng chứng.
- Kiểm tra một triển khai tham khảo TypeScript hoàn chỉnh mà bạn có thể sao chép các mẫu từ.
Không cần hướng dẫn viên. Các bài học cho học viên đủ hoàn thiện để chạy hội thảo trong chế độ tự hướng dẫn.
Dành cho hướng dẫn viên
Hướng dẫn dành cho hướng dẫn viên dành cho những người muốn dạy Langfuse cho những người khác. Sử dụng các ghi chú trong docs/instructor/ bên cạnh các bài học cho học viên khi bạn đang dạy một hội thảo trực tiếp, quay một video hướng dẫn hoặc điều chỉnh tài liệu cho một nhóm.
Để chuẩn bị, chúng tôi đã bao gồm một hướng dẫn và các trang trình chiếu về cách chuẩn bị cho hội thảo docs/preparation_and_materials/.
Hội thảo không phụ thuộc vào một hướng dẫn viên. Các ghi chú hướng dẫn viên thêm các điểm dạy học, nhịp độ bản demo, nhắc nhở thiết lập và những cạm bẫy phổ biến; chúng không cần thiết để ai đó hoàn thành hội thảo một mình.
Phạm vi hội thảo
Ứng dụng mẫu là một trò chuyện web nhỏ trong đó Bố mở trò chuyện để nhận trợ giúp iPhone. Đặc vụ được đặt tên là Specs và trả lời bằng các hướng dẫn từng bước. Dưới đây, đó là một vòng lặp gọi công cụ OpenAI bình thường với hai công cụ cục bộ.
main chứa ứng dụng tham khảo hoàn chỉnh và tài liệu hội thảo hiện tại. Sử dụng nó để kiểm tra triển khai hoàn thành hoặc so sánh công việc của bạn với trạng thái cuối cùng. Các bài tập chính nó bắt đầu từ các thẻ điểm kiểm tra.
Các mô-đun
| Bước | Bài học cho học viên | Ghi chú hướng dẫn viên | Điểm kiểm tra | Những gì bạn sẽ học |
|---|---|---|---|---|
| 00 | Thiết lập | Ghi chú hướng dẫn viên | checkpoint/00-setup | Khóa, cài đặt, chạy ứng dụng. |
| 01 | Ứng dụng cơ bản | Ghi chú hướng dẫn viên | checkpoint/01-base-app | Tham quan ứng dụng đang chạy. Không có gì để xây dựng. |
| 02 | Tracing | Ghi chú hướng dẫn viên | checkpoint/02-tracing | Ghi lại mỗi bước của đặc vụ: generations, agent root, tool spans. |
| 03 | Quản lý Prompt | Ghi chú hướng dẫn viên | checkpoint/03-prompt-management | Chuyển system prompt vào Langfuse. |
| 04 | Giám sát | Ghi chú hướng dẫn viên | checkpoint/04-monitoring | Bắt các yêu cầu ngoài phạm vi và sự bất đồng ý của người dùng. |
| 05 | Dataset | Ghi chú hướng dẫn viên | checkpoint/05-dataset | Biến phạm vi sản phẩm thành các ví dụ có thể tái sử dụng. |
| 06 | Thí nghiệm | Ghi chú hướng dẫn viên | checkpoint/06-experiments | Chạy đặc vụ chống lại dataset và tính điểm cho mỗi mục. |
| 07 | Đánh giá | Ghi chú hướng dẫn viên | checkpoint/07-evaluation | Thay đổi một thứ, chạy lại dataset, so sánh các lần chạy. |
| 08 | Kết thúc | Ghi chú hướng dẫn viên | checkpoint/08-wrap-up | Áp dụng vòng lặp cho ứng dụng của riêng bạn. |
Cách thực hiện
main là triển khai tham khảo hoàn chỉnh. Để làm việc thực hành, kiểm tra điểm kiểm tra được đặt tên trong bài học bạn đang bắt đầu, thực hiện các thay đổi còn thiếu và xác minh kết quả trước khi chuyển sang.
checkpoint/00-setup và checkpoint/01-base-app có chủ đích chứa cùng một ứng dụng cơ bản không có trace. Thiết lập sử dụng trạng thái đó để xác minh khóa, phụ thuộc và cổng; Ứng dụng cơ bản sử dụng nó để định hướng. Tracing bắt đầu trong 02-tracing.
Server hội thảo và các tập lệnh trợ giúp npm coi kho lưu trữ .env là nguồn sự thật cạnh Node. Các xuất shell cục bộ từ các dự án khác không ghi đè .env, vì vậy hãy thay đổi khóa hội thảo, máy chủ Langfuse, nhãn prompt và tên dataset trong tệp đó.
Hội thảo đủ nhỏ để hoàn thành trong một lần ngồi, và mỗi mô-đun cũng có thể được sử dụng độc lập nếu bạn chỉ quan tâm đến một phần của vòng lặp.
Bố cục kho lưu trữ
docs/learner/chứa các bài học hội thảo tự hướng dẫn.docs/instructor/chứa ghi chú người tạo điều kiện để dạy cùng một bài học.docs/images/chứa ảnh chụp màn hình và sơ đồ, được nhóm theo bài học.src/chứa ứng dụng mẫu.scripts/chứa các tập lệnh trợ giúp dataset và prompt được sử dụng trong các bài học sau.
Nơi đi tiếp theo
- Chạy các mô-đun theo thứ tự bắt đầu từ
docs/learner/00-setup.md. - Nhảy đến bất kỳ chương nào phù hợp với những gì bạn muốn học.
- Cài đặt kỹ năng Langfuse (
/langfuse) để áp dụng các mẫu từ hội thảo này cho codebase của riêng bạn. - Để có tài liệu hình ảnh lớn hơn về mỗi chương, hãy sử dụng Học viện Langfuse.
08 Xong rồi — tiếp theo là gì
Nên dùng bản dùng thử cho việc gì tiếp theo, và các phương án dự phòng cho bất cứ điều gì đã không suôn sẻ trên đường đi.
Dành cho người học
Bắt đầu với các bài học cho người học trong docs/learner/. Mỗi bài học cho bạn biết checkpoint nào cần checkout, những gì cần thay đổi trong code hoặc cấu hình trong Langfuse, và cách xác minh kết quả.