Workshop Langfuse - Siklus AI engineering, dari awal hingga akhir
Ini adalah workshop Langfuse langkah demi langkah yang dibangun atas aplikasi sampel TypeScript kecil: Dad IT Support Agent. Workshop ini mencakup siklus AI engineering lengkap dengan Langfuse...
Materi workshop dikelola dalam repositori publik langfuse/langfuse-workshop. Gunakan repositori untuk aplikasi yang dapat dijalankan, cabang checkpoint, dan pengaturan lokal.
Ini adalah workshop Langfuse langkah demi langkah yang dibangun atas aplikasi sampel TypeScript kecil: Agen Dukungan IT Dad. Workshop ini mencakup siklus AI engineering lengkap dengan Langfuse: pelacakan, manajemen prompt, pemantauan, dataset, eksperimen, dan evaluasi.
Anda dapat menyelesaikan workshop sendiri dari pelajaran untuk pelajar, atau menggunakan catatan instruktur untuk mengajar materi yang sama kepada sekelompok orang.
Untuk pelajar
Mulai dengan pelajaran pelajar di docs/learner/. Setiap pelajaran memberi tahu Anda checkpoint mana yang harus diperiksa, apa yang harus diubah dalam kode atau dikonfigurasi di Langfuse, dan bagaimana memverifikasi hasilnya.
Gunakan jalur pelajar jika Anda ingin:
- Mencatat jejak pertama Anda dari aplikasi LLM nyata dan memahami apa yang Anda lihat.
- Memindahkan prompt ke Langfuse sehingga perubahan disimpan versi dan ditautkan ke jejak.
- Memantau perilaku produksi tanpa membaca setiap jejak dengan tangan.
- Membangun dataset, menjalankan eksperimen, dan mengevaluasi perubahan dengan bukti.
- Memeriksa implementasi referensi TypeScript lengkap yang dapat Anda salin pola darinya.
Tidak ada instruktur yang diperlukan. Pelajaran pelajar cukup lengkap untuk menjalankan workshop dalam mode mandiri.
Untuk instruktur
Panduan instruktur adalah untuk orang-orang yang ingin mengajar Langfuse kepada orang lain. Gunakan catatan di docs/instructor/ bersama dengan pelajaran pelajar ketika Anda memfasilitasi workshop langsung, merekam panduan, atau menyesuaikan materi untuk tim.
Untuk persiapan kami menyertakan panduan dan slide tentang cara mempersiapkan workshop docs/preparation_and_materials/.
Workshop tidak bergantung pada instruktur. Catatan instruktur menambahkan poin pengajaran, ritme demo, pengingat pengaturan, dan jebakan umum; mereka tidak diperlukan bagi seseorang yang menyelesaikan workshop sendiri.
Ruang lingkup workshop
Aplikasi sampel adalah obrolan web kecil di mana Dad membuka obrolan untuk mendapatkan bantuan iPhone. Agen ini dinamakan Specs dan menjawab dengan petunjuk langkah demi langkah. Di balik layar, ini adalah loop pemanggilan alat OpenAI normal dengan dua alat lokal.
main berisi aplikasi referensi lengkap dan dokumentasi workshop saat ini. Gunakan untuk memeriksa implementasi selesai atau membandingkan pekerjaan Anda dengan status akhir. Latihan itu sendiri dimulai dari tag checkpoint.
Modul
| Langkah | Pelajaran pelajar | Catatan instruktur | Checkpoint | Yang akan Anda pelajari |
|---|---|---|---|---|
| 00 | Pengaturan | Catatan instruktur | checkpoint/00-setup | Kunci, instalasi, jalankan aplikasi. |
| 01 | Aplikasi Dasar | Catatan instruktur | checkpoint/01-base-app | Tur aplikasi yang sedang berjalan. Tidak ada yang harus dibangun. |
| 02 | Pelacakan | Catatan instruktur | checkpoint/02-tracing | Catat setiap langkah agen: generasi, akar agen, span alat. |
| 03 | Manajemen Prompt | Catatan instruktur | checkpoint/03-prompt-management | Pindahkan prompt sistem ke Langfuse. |
| 04 | Pemantauan | Catatan instruktur | checkpoint/04-monitoring | Tangkap permintaan di luar ruang lingkup dan ketidaksetujuan pengguna. |
| 05 | Dataset | Catatan instruktur | checkpoint/05-dataset | Ubah ruang lingkup produk menjadi contoh yang dapat digunakan kembali. |
| 06 | Eksperimen | Catatan instruktur | checkpoint/06-experiments | Jalankan agen terhadap dataset dan beri skor setiap item. |
| 07 | Evaluasi | Catatan instruktur | checkpoint/07-evaluation | Ubah satu hal, jalankan kembali dataset, bandingkan run. |
| 08 | Kesimpulan | Catatan instruktur | checkpoint/08-wrap-up | Terapkan siklus ke aplikasi Anda sendiri. |
Cara mengerjakannya
main adalah implementasi referensi lengkap. Untuk pekerjaan hands-on, periksa checkpoint yang disebutkan dalam pelajaran yang Anda mulai, buat perubahan yang hilang, dan verifikasi hasilnya sebelum melanjutkan.
checkpoint/00-setup dan checkpoint/01-base-app sengaja berisi aplikasi dasar yang tidak dilacak. Pengaturan menggunakan status itu untuk memvalidasi kunci, dependensi, dan port; Aplikasi Dasar menggunakannya untuk orientasi. Pelacakan dimulai di 02-tracing.
Server workshop dan skrip pembantu npm memperlakukan repositori .env sebagai sumber kebenaran Node-side. Ekspor shell lokal dari proyek lain tidak menimpa .env, jadi ubah kunci workshop, host Langfuse, label prompt, dan nama dataset di file itu.
Workshop cukup kecil untuk diselesaikan dalam satu sesi, dan setiap modul juga dapat digunakan secara independen jika Anda hanya peduli tentang satu bagian dari siklus.
Tata letak repositori
docs/learner/berisi pelajaran workshop yang mandiri.docs/instructor/berisi catatan fasilitator untuk mengajar pelajaran yang sama.docs/images/berisi tangkapan layar dan diagram, dikelompokkan berdasarkan pelajaran.src/berisi aplikasi sampel.scripts/berisi skrip pembantu dataset dan prompt yang digunakan dalam pelajaran nanti.
Kemana selanjutnya
- Ikuti modul secara berurutan dimulai dari
docs/learner/00-setup.md. - Lompat ke bab mana pun yang cocok dengan apa yang ingin Anda pelajari.
- Pasang keterampilan Langfuse (
/langfuse) untuk menerapkan pola dari workshop ini ke basis kode Anda sendiri. - Untuk materi gambaran besar pada setiap bab, gunakan Langfuse Academy.
08 Selesai — apa selanjutnya
Ke mana membawa uji coba ini selanjutnya, dan opsi cadangan untuk apa pun yang sempat salah di sepanjang jalan.
Untuk pemelajar
Mulai dengan pelajaran pemelajar di docs/learner/. Setiap pelajaran memberi tahu Anda checkpoint mana yang harus diperiksa, apa yang harus diubah dalam kode atau dikonfigurasi di Langfuse, dan cara memverifikasi hasilnya.