07 ประเมินการเปลี่ยนแปลง

เอกสารเวิร์กชอปนี้รักษาไว้ในที่เก็บข้อมูลสาธารณะ langfuse/langfuse-workshop ใช้ที่เก็บข้อมูลสำหรับแอปที่รันได้ สาขา checkpoint และการตั้งค่าในเครื่อง

ดูไฟล์ Markdown นี้

แนวทางผู้เรียน: 07 ประเมินผลการเปลี่ยนแปลง

หมายเหตุผู้สอน

• ทำให้ผู้เรียน ตรวจสอบ run 1 ก่อนเปลี่ยน อะไร การเปลี่ยนแปลง ควรตอบ หลักฐาน ไม่ใช่ vibes
• เก็บการวนซ้ำ โดยเจตนา เล็กน้อย: prompt rule หนึ่ง หนึ่ง rerun หนึ่ง comparison
• เน้น regressions ส่วนใหญ่ useful comparison มักเป็น item ที่ได้ แย่ลง
• เตือนผู้เรียนว่า ทั้งสอง experiment scores เป็นแพลตฟอร์ม-side ตอนนี้ ดังนั้น missing score ปกติ ความหมาย "ยัง pending" หรือ "evaluator target mismatch" ไม่ใช่ bug ใน scripts/run-dataset.ts

จังหวะการสาธิต

1. อ่าน low-scoring items จาก first run
2. เพิ่มหรือส่งเสริม new prompt version
3. รัน npm run dataset:run อีกครั้ง
4. เปรียบเทียบ ทั้งสอง runs side ด้วย side และตัดสินใจว่า ควรจัดส่ง

ต้องระวัง

• ผู้เรียน เปลี่ยนแปลง ทั้งสอง model และ prompt ในเวลา เดียวกัน การเปรียบเทียบ ยาก ตีความ
• ผู้เรียน แก้ไข prompt ใน UI ลืม พวกเขา ต้องการ new บันทึก version ส่งเสริม ป้ายกำกับ app ดึง