Jalur instruktur
Pengaturan waktu, alur pemaparan, kegagalan umum, dan langkah reset untuk fasilitator.
Ini adalah jalur Instruktur: pendamping fasilitator untuk jalur Peserta. Setiap modul mencerminkan modul peserta yang sepadan dan menambahkan panduan waktu, alur pemaparan, mode kegagalan umum, serta langkah reset untuk menjalankan sesi secara langsung.
Lokakarya ini mengikuti satu alur berkelanjutan: pilih model dasar → ukur secara offline → rilis dan deteksi → investigasi bersama manusia → buktikan dan pantau peningkatannya.
Total waktu
| Modul | Pelajaran peserta | Catatan instruktur | Hasil | Anggaran waktu |
|---|---|---|---|---|
| 00 | Persiapan | catatan | Hubungkan OpenRouter, ClickHouse, dan Langfuse; semai data Agent Arena. | 20 menit |
| 01 | Pilih model dasar | catatan | Jalankan kontes dan pilih konfigurasi berdasarkan biaya per jawaban benar. | 20 menit |
| 02 | Ukur secara offline | catatan | Baca skor offline dan jejak pemenang sebelum dirilis. | 15 menit |
| 03 | Rilis dan deteksi | catatan | Rilis kebijakan yang sudah usang dan tangkap ketidaksesuaian antara evaluator yang lulus dan penilaian negatif pengguna. | 15 menit |
| 04 | Investigasi bersama manusia | catatan | Selesaikan diagnosis manusia yang mengutamakan bukti dan penyerahan hasil terkoreksi. | 20 menit |
| 05 | Tutup siklusnya | catatan | Perluas dataset emas, buktikan perbaikannya, dan aktifkan perlindungan online yang terkalibrasi. | 25 menit |
Itu artinya 115 menit — sekitar 1 jam 55 menit — pekerjaan langsung (hands-on) untuk sesi penuh, ditambah transisi antar modul.
Pengaturan ruangan
- Satu
.envper peserta (atau per pasangan), diisi dari akun OpenRouter, Langfuse Cloud, dan ClickHouse Cloud masing-masing — kredensial tidak dibagikan antar peserta, karena Modul 00 juga menyediakan pengguna read-onlyarena_rokhusus di ClickHouse untuk setiap seed. - Tampilan proyektor dari proyek Langfuse Cloud milik Anda sendiri, yang dipisahkan dari proyek peserta, untuk penjelasan eksperimen, trace produksi, anotasi, dan evaluator di Modul 01–05.
- Terminal dengan
scripts/arena.sh statussiap dijalankan kapan saja — perintah ini melaporkan apakah dashboard API dan web UI sudah aktif, serta menampilkan jumlah baris untuk setiap viewv_*.scripts/arena.sh upmenyemai dataset bisnis ClickHouse dan menjalankan layanan lokal; hasil benchmark tersimpan di Langfuse (tanpa Aurora, ClickPipes, atau ClickStack dalam lokakarya ini).
Daftar periksa prasyarat
Pastikan setiap poin berikut sudah terpenuhi sebelum Modul 00 dimulai, idealnya sehari sebelumnya:
- Peserta sudah membuat (atau menerima) akun di OpenRouter, Langfuse Cloud, dan ClickHouse Cloud, dengan API key asli — bukan nilai placeholder.
- Peserta sudah melakukan clone repo dan dapat membuat virtualenv Python
(
python -m venv .venv && source .venv/bin/activate && pip install -r requirements.txt). - Node.js sudah terpasang untuk tab Chat pada web (
cd web && npm install), yang diperlukan mulai Modul 00 (dashboard) dan lagi di Modul 03 (tab Chat). - Anda sudah membaca
eval/langfuse_evaluators/README.md— penyiapan evaluator Langfuse satu kali di Modul 01 adalah langkah paling rumit di seluruh sesi dan layak untuk dilatih terlebih dahulu. - Anda dapat menjalankan
source .env && scripts/arena.sh upsecara end-to-end sendiri sekali sebelum sesi, sehingga Anda tahu seperti apa "terisi dengan benar" ketika hasil dari salah satu peserta tidak sesuai.