Langfuse ワークショップ - AI エンジニアリング ループの全体像
これは小規模な TypeScript サンプル アプリケーション (Dad IT Support Agent) を基にした段階的な Langfuse ワークショップです。Langfuse を使用した完全な AI エンジニアリング ループ (トレーシング、プロンプト管理、監視、データセット、実験、評価) をカバーしています...
ワークショップ資料は公開されている langfuse/langfuse-workshop リポジトリで管理されています。実行可能なアプリケーション、チェックポイント ブランチ、ローカル セットアップはリポジトリを参照してください。
これは小規模な TypeScript サンプル アプリケーション Dad IT Support Agent を基にした段階的な Langfuse ワークショップです。このワークショップは、Langfuse による完全な AI エンジニアリング ループをカバーしています: トレーシング、プロンプト管理、監視、データセット、実験、評価。
学習者向けレッスンから自習でワークショップを完了することもできますし、インストラクター ノートを使用して同じ内容をグループに教えることもできます。
学習者向け
docs/learner/ の学習者向けレッスンから始めてください。各レッスンでは、どのチェックポイントをチェックアウトするのか、コードで何を変更するか、または Langfuse で何を設定するのか、そして結果をどのように確認するのかが説明されています。
以下のような場合は学習者向けパスを使用してください:
- 実際の LLM アプリから最初のトレースをログに記録し、何を見ているのかを理解したい場合。
- プロンプトを Langfuse に移動して、変更がバージョン管理され、トレースにリンクされるようにしたい場合。
- すべてのトレースを手動で読むことなく、本番環境の動作を監視したい場合。
- データセットを構築し、実験を実行し、証拠を使用して変更を評価したい場合。
- コピーできるパターンを持つ完全な TypeScript リファレンス実装を検査したい場合。
インストラクターは不要です。学習者向けレッスンは完全であるため、ワークショップを自習モードで実行できます。
インストラクター向け
インストラクター ガイドは、Langfuse を他の人に教えたい人向けのものです。ライブ ワークショップを開催する場合、ウォークスルーを録画する場合、または資料をチームに合わせてカスタマイズする場合は、docs/instructor/ のノートを学習者向けレッスンと一緒に使用してください。
準備用として、ワークショップを準備する方法に関するガイドとスライドを含めました docs/preparation_and_materials/。
ワークショップはインストラクターに依存しません。インストラクター ノートは、教育のポイント、デモのリズム、セットアップの注意事項、よくある落とし穴を追加するものです。これらはワークショップを1人で完了する場合には必須ではありません。
ワークショップのスコープ
サンプル アプリケーションは小規模な Web チャットで、Dad が iPhone のヘルプを求めてチャットを開きます。エージェントの名前は Specs で、ステップバイステップの指示で答えます。内部では、2つのローカル ツールを持つ通常の OpenAI ツール呼び出しループです。
main は完全なリファレンス アプリとワークショップの最新ドキュメントを含んでいます。完成した実装を検査したり、作業を最終状態と比較したりする場合に使用してください。演習自体はチェックポイント タグから開始します。
モジュール
| ステップ | 学習者向けレッスン | インストラクター ノート | チェックポイント | 学習内容 |
|---|---|---|---|---|
| 00 | セットアップ | インストラクター ノート | checkpoint/00-setup | キー、インストール、アプリの実行。 |
| 01 | ベース アプリ | インストラクター ノート | checkpoint/01-base-app | 実行中のアプリのツアー。構築するものはありません。 |
| 02 | トレーシング | インストラクター ノート | checkpoint/02-tracing | すべてのエージェント ステップをログに記録: 生成、エージェント ルート、ツール スパン。 |
| 03 | プロンプト管理 | インストラクター ノート | checkpoint/03-prompt-management | システム プロンプトを Langfuse に移動。 |
| 04 | 監視 | インストラクター ノート | checkpoint/04-monitoring | スコープ外のリクエストとユーザーの異議を捕捉。 |
| 05 | データセット | インストラクター ノート | checkpoint/05-dataset | 製品スコープを再利用可能な例に変換。 |
| 06 | 実験 | インストラクター ノート | checkpoint/06-experiments | データセットに対してエージェントを実行し、すべての項目をスコア付け。 |
| 07 | 評価 | インストラクター ノート | checkpoint/07-evaluation | 1 つのことを変更し、データセットを再実行し、実行を比較。 |
| 08 | まとめ | インストラクター ノート | checkpoint/08-wrap-up | ループを独自のアプリに適用。 |
進め方
main は完全なリファレンス実装です。ハンズオン作業では、開始するレッスンで指定されたチェックポイントをチェックアウトし、不足している変更を加え、次に進む前に結果を確認してください。
checkpoint/00-setup と checkpoint/01-base-app は意図的に同じトレースなしのベース アプリを含んでいます。セットアップはその状態を使用してキー、依存関係、ポートを検証します。ベース アプリはそれをオリエンテーション用に使用します。トレーシングは 02-tracing から開始します。
ワークショップ サーバーと npm ヘルパー スクリプトは、リポジトリ .env を Node 側の情報源として扱います。他のプロジェクトからのローカル シェル エクスポートは .env を上書きしません。そのため、ワークショップ キー、Langfuse ホスト、プロンプト ラベル、データセット名を [そのファイル内で] 変更してください。
ワークショップは十分に小規模であるため 1 回のセッションで完了でき、ループの 1 つの部分のみに関心がある場合は、すべてのモジュールを個別に使用することもできます。
リポジトリ レイアウト
docs/learner/は自習ワークショップ レッスンを含んでいます。docs/instructor/は同じレッスンを教えるためのファシリテーター ノートを含んでいます。docs/images/はスクリーンショットと図を含み、レッスンごとにグループ化されています。src/はサンプル アプリケーションを含んでいます。scripts/は、後のレッスンで使用されるデータセットとプロンプト ヘルパー スクリプトを含んでいます。
次のステップ
docs/learner/00-setup.mdから開始してモジュールを順番に進めます。- あなたが学びたいことに合致する章にジャンプします。
- このワークショップのパターンを独自のコードベースに適用するために Langfuse スキル (
/langfuse) をインストールします。 - より大きな概観的な資料については各章で Langfuse Academy を使用してください。