講師トラック

ファシリテーター向けのタイミング、トークトラック、よくある失敗、リセット手順。

こちらは講師トラックです。受講者トラックに対応するファシリテーター向けの手引きです。各モジュールは受講者側の対応するモジュールを鏡のようになぞりつつ、セッションをライブで運営するためのタイミングの目安、トークトラック、よくある失敗のパターン、リセット手順を加えています。

ワークショップは 1 本の連続した道筋をたどります。ベースモデルを選ぶ → オフラインで測る → リリースして検知する → 人が調査する → 改善を証明して監視する。

全体のタイミング

モジュール	受講者レッスン	講師ノート	成果	想定時間
00	セットアップ	ノート	OpenRouter、ClickHouse、Langfuse を接続し、Agent Arena のデータをシードする。	20 min
01	ベースモデルを選ぶ	ノート	コンテストを実行し、正答あたりのコストで構成を選ぶ。	20 min
02	オフラインで品質を測る	ノート	リリース前に勝者のオフライン score と trace を読む。	15 min
03	リリースして検知する	ノート	古びたポリシーをリリースし、evaluator は合格・ユーザーは不合格という食い違いを捉える。	15 min
04	人が調査する	ノート	エビデンス優先の人による診断と、修正済み出力の引き渡しを完了させる。	20 min
05	ループを閉じる	ノート	ゴールデンデータセットを拡張し、修正を証明し、校正済みのオンライン保護を有効化する。	25 min

セッション全体でおよそ 115 分 — 約 1 時間 55 分 — のハンズオン作業に加えて、モジュール間の移行時間がかかります。

受講者ごと（またはペアごと）に 1 つの .env を用意し、各自の OpenRouter、Langfuse Cloud、 ClickHouse Cloud のアカウントから値を埋めます。認証情報は受講者間で共有しません。 Module 00 はシードごとに専用の arena_ro 読み取り専用 ClickHouse ユーザーも作成するためです。
受講者のプロジェクトとは分けた、あなた自身の Langfuse Cloud プロジェクトの投影用ビュー。 Modules 01–05 での experiment、本番 trace、annotation、evaluator のウォークスルーに使います。
いつでも scripts/arena.sh status を実行できるターミナル。ダッシュボード API と Web UI が立ち上がっているかを報告し、各 v_* ビューの行数を表示します。scripts/arena.sh up は ClickHouse のビジネスデータセットをシードしてローカルサービスを起動します。ベンチマーク結果は Langfuse に置かれます（このワークショップでは Aurora、ClickPipes、ClickStack は使いません）。

Module 00 が始まる前に、できれば前日までに、以下をそれぞれ確認してください:

受講者が OpenRouter、Langfuse Cloud、ClickHouse Cloud のアカウントを作成済み（または提供済み）で、プレースホルダーではない実際の API キーを持っている。
受講者がリポジトリをクローン済みで、Python の virtualenv を作れる (python -m venv .venv && source .venv/bin/activate && pip install -r requirements.txt)。
Web の Chat タブ用に Node.js がインストールされている (cd web && npm install)。 Module 00（ダッシュボード）から必要になり、Module 03（Chat タブ）で再び必要になります。
eval/langfuse_evaluators/README.md を読んでいる。Module 01 の 1 回だけの Langfuse evaluator セットアップはセッション全体で最も手間のかかるステップで、下稽古する価値があります。
セッション前に自分で一度 source .env && scripts/arena.sh up を端から端まで実行できている。受講者の実行結果がそれと一致しないときに「正しくシードできた」状態がどう見えるかを知っておくためです。