08 Penutup

Materi workshop dikelola di repositori publik langfuse/langfuse-workshop. Gunakan repositori untuk aplikasi yang dapat dijalankan, cabang checkpoint, dan setup lokal.

Lihat file Markdown ini

Titik awal

git checkout checkpoint/08-wrap-up

Anda telah berjalan melalui setiap langkah loop.

Apa yang harus Anda bisa lakukan sekarang

• Jejaki aplikasi LLM dari ujung ke ujung dan baca hasilnya sebagai permukaan debugging.
• Hubungkan prompt ke jejak sehingga perubahan prompt memiliki efek jejak pengukuran berikutnya.
• Deteksi perilaku produksi yang menarik (out-of-scope, ketidaksetujuan) secara otomatis.
• Ubah cakupan produk menjadi dataset pemula contoh realistis.
• Jalankan eksperimen pada kode agen yang sama dengan tidak ada implementasi paralel.
• Bandingkan jalankan setelah perubahan dan putuskan pengaturan mana yang lebih baik — berdasarkan skor dan dengan membaca keluaran individu.

Gambaran yang lebih besar

Langfuse dalam workshop ini adalah permukaan bersama, bukan hanya observabilitas:

• pemahaman perilaku — setiap interaksi dapat diperiksa
• mengumpulkan contoh perwakilan — produksi benih dataset
• membandingkan perubahan — setiap perubahan prompt atau kode memiliki garis dasar
• meningkatkan sistem secara berkelanjutan — loop menutup kembali ke dirinya sendiri

Pertanyaan penutupan yang baik

• Apa yang diungkap pelacakan yang tidak terlihat sebelumnya?
• Acara produksi mana yang akan Anda pantau terlebih dahulu dalam aplikasi Anda sendiri?
• Apa yang akan Anda tambahkan ke dataset pemula selanjutnya?
• Perubahan apa yang akan Anda uji setelah iterasi prompt pertama?
• Di mana dalam aplikasi nyata Anda, keterampilan /langfuse akan menyelamatkan Anda dari menggulapi paling banyak?

Cara bekerja pada aplikasi Anda sendiri

Ketika Anda kembali ke basis kode Anda sendiri, lakukan ini secara berurutan:

1. Jalankan Langfuse CLI sehingga Anda dapat mengelola prompt, dataset, dan jalankan dari terminal. CLI menggunakan kunci API proyek yang sama dengan SDK, jadi tidak ada langkah login CLI terpisah. Simpan nilai itu dalam .env lokal aplikasi Anda:

   LANGFUSE_PUBLIC_KEY=pk-lf-...
   LANGFUSE_SECRET_KEY=sk-lf-...
   LANGFUSE_BASE_URL=https://cloud.langfuse.com

   Kemudian jalankan CLI dari shell yang telah memuat file itu:

   npx langfuse-cli api __schema

   Jika Anda lebih suka biner global, pasang paket langfuse-cli yang dipublikasikan:

   npm install -g langfuse-cli
   langfuse api __schema

2. Pasang keterampilan Langfuse (/langfuse) — paket pola pelacakan, manajemen prompt, pemantauan, dan evaluator yang direkomendasikan dari workshop ini dan menerapkannya ke basis kode Anda tanpa Anda menggulung setiap bagian dengan tangan:

   npx skills add langfuse/skills --skill "langfuse"

3. Pilih permukaan menggunakan LLM terkecil yang Anda miliki dan kabel observe(...) + observeOpenAI(...) terlebih dahulu. Dapatkan satu jejak sebelum Anda melakukan apa pun yang lain.

4. Tambahkan informasi pengguna/sesi hanya setelah Anda memiliki setidaknya dua pengguna atau dua sesi lalu lintas — tidak ada titik sampai kemudian.

5. Bangun dataset pertama Anda dari jejak nyata, diskusi dengan ahli, atau contoh masa lalu daripada dari imajinasi. Perilaku produksi akan memberi tahu Anda dari waktu ke waktu apa dataset Anda perlu untuk mencakup.

6. Jalankan satu eksperimen, ubah satu hal, jalankan kembali. Kemudian ulangi.

Untuk materi gambaran yang lebih besar di setiap langkah, Akademi Langfuse memiliki pelajaran khusus:

• Loop Rekayasa AI
• Pelacakan
• Pemantauan
• Dataset
• Eksperimen
• Evaluasi