Jalur peserta
Pelajaran langsung yang Anda kerjakan selama sesi.
Ini adalah Jalur Peserta: pelajaran langsung yang Anda kerjakan selama lokakarya. Setiap modul membangun di atas modul sebelumnya, membawa chatbot Agent Arena NL→SQL melalui satu alur: pilih model dasar → ukur secara offline → rilis dan deteksi → investigasi bersama manusia → buktikan dan pantau peningkatannya — semuanya diinstrumentasi dengan Langfuse sejak modul pertama, dilayani melalui OpenRouter, dan didukung oleh ClickHouse.
Rangkaian ini dimulai dengan keputusan yang paling penting saat membangun agen yang serius: model mana yang akan digunakan. Modul 01 menjawabnya dengan bukti — kontes, yang dijalankan sebagai eksperimen Langfuse dan diberi peringkat berdasarkan biaya per jawaban yang benar — dan setiap modul setelahnya dibangun di atas pilihan tersebut.
Kerjakan modul-modul berikut secara berurutan:
- 00 Persiapan — hubungkan OpenRouter, ClickHouse Cloud, dan Langfuse Cloud, lalu isi database dengan data awal.
- 01 Pilih model dasar — keputusan fundamental: jalankan kisi model × prompt sebagai eksperimen Langfuse dan tentukan pemenangnya berdasarkan biaya per jawaban yang benar.
- 02 Ukur secara offline — lebih jauh dari sekadar
"menang": baca akurasi per tingkat, score
agent-arena-llm-judge, dan jejak individual untuk melihat performa sesungguhnya dari model pemenang. - 03 Rilis dan deteksi — rilis konfigurasi terpilih dengan kebijakan bisnis yang sudah usang, lalu lihat evaluator operasional meloloskannya sementara 👎 dari pengguna sungguhan mengungkap titik buta tersebut.
- 04 Investigasi bersama manusia — gunakan sinyal masukan untuk menemukan jejak produksi yang otoritatif, lengkapi anotasi manusia, verifikasi koreksinya, dan catat asal-usulnya.
- 05 Tutup siklusnya — promosikan insiden yang telah ditinjau, buktikan peningkatan kebijakan tersebut dengan eksperimen berpasangan, kalibrasi dan aktifkan evaluator online umum, lalu pantau lalu lintas mendatang untuk skor maupun masukan.
Lihat ikhtisar tingkat atas untuk tabel modul lengkap, termasuk catatan Jalur Instruktur yang sesuai untuk setiap modul.