08 まとめ

ワークショップマテリアルは公開 langfuse/langfuse-workshop リポジトリで保守されています。実行可能なアプリ、チェックポイントブランチ、ローカルセットアップについてはリポジトリを使用してください。

このMarkdownファイルを表示

開始ポイント

git checkout checkpoint/08-wrap-up

あなたはすべてのループステップを歩きました。

今、あなたが実行できるはず

• LLM アプリをエンドツーエンドでトレース化し、結果をデバッグ表面として読みます。
• プロンプトをトレースに接続して、プロンプト変更が測定可能な次のトレース効果を持ちます。
• 興味深い本番動作(スコープ外、不同意)を自動的に検出します。
• 製品スコープをリアルな例のスターターデータセットに変えます。
• エージェントコードに対して並列実装なしで実験を実行します。
• 変更を比較し、スコアと個別出力を読むことで、どちらが優れているかを判断します。

より大きな画像

このワークショップのLangfuse は共有表面であり、単なる可視性ではありません:

• 動作を理解する — すべてのやり取りが検査可能
• 代表的な例を収集する — 本番は生産データセット
• 変更を比較する — すべてのプロンプトまたはコード変更にベースラインがあります
• システムを継続的に改善 — ループは自分に戻ります

良い質問

• トレースが以前見えなかったことを明らかにしましたか?
• 独自のアプリで最初に監視するはず本番イベント?
• スターターデータセット に次に何を追加しますか?
• 最初のプロンプト反復後にテストしようとする変更は何ですか?
• /langfuse スキルはあなたの実際のアプリで最も手作業をセーブしたはず?

独自のアプリケーションで実行する方法

独自のコードベースに戻ると、この順序で実行します:

1. Langfuse CLI を実行 して、ターミナルからプロンプト、データセット、実行を管理できます。CLIはSDKと同じプロジェクトAPIキーを使用するため、別のCLIログインステップはありません。アプリケーションのローカル .env にそれらの値を保持します:

   LANGFUSE_PUBLIC_KEY=pk-lf-...
   LANGFUSE_SECRET_KEY=sk-lf-...
   LANGFUSE_BASE_URL=https://cloud.langfuse.com

   その後、ファイルをロードしたシェルからCLIを実行します:

   npx langfuse-cli api __schema

   グローバルバイナリを好む場合は、公開 langfuse-cli パッケージをインストールします:

   npm install -g langfuse-cli
   langfuse api __schema

2. Langfuse スキル (/langfuse) をインストール — このワークショップから推奨トレース、プロンプト管理、監視、評価者パターンをパッケージ化し、手作業なしでコードベースに適用します:

   npx skills add langfuse/skills --skill "langfuse"

3. 最小のLLM使用表面を選びます そして最初に observe(...) + observeOpenAI(...) を配線します。他には何もする前に1つのトレースを取得してください。

4. ユーザー/セッション情報を追加 少なくとも2人のユーザーまたは2つのセッションのトラフィックを持った場合のみ — それまで意味はありません。

5. **実際のトレース、専門家との議論、または過去の例から最初のデータセットを構築— 想像から。本番動作は、時間をかけてデータセットが対象とする必要があるものを教えます。

6. 1つの実験を実行、1つのことを変更、再実行してください。 その後、繰り返します。

各ステップの大きな視点材料については、Langfuse Academy には専用レッスンがあります:

• AI エンジニアリングループ
• トレース
• モニタリング
• データセット
• 実験
• 評価