08 总结

研讨会材料在公共 langfuse/langfuse-workshop 仓库中维护。使用该仓库获取可运行的应用、检查点分支和本地设置。

查看此 Markdown 文件

起始点

git checkout checkpoint/08-wrap-up

您已经完成了每个循环步骤。

您现在应该能够做什么

• 端到端地追踪 LLM 应用并将结果作为调试表面读取。
• 将提示连接到追踪，以便提示更改具有可测量的下一个追踪效果。
• 自动检测有趣的生产行为（超出范围、不同意）。
• 将产品范围转化为现实示例的入门数据集。
• 在相同代理代码上运行实验，无需并行实现。
• 在更改后比较运行并决定哪个设置更好 —— 通过分数和读取单个输出。

更大的图景

Langfuse 在本研讨会中是一个共享表面，不仅仅是可观测性：

• 理解行为 —— 每个交互都是可检查的
• 收集代表性示例 —— 生产播种数据集
• 比较更改 —— 每个提示或代码更改都有一个基线
• 持续改进系统 —— 循环回到自身

很好的结束问题

• 追踪揭示了什么之前看不见的东西？
• 您会首先在自己的应用中监控哪些生产事件？
• 接下来您会在入门数据集中添加什么？
• 在第一次提示迭代后，您会测试什么更改？
• 在您的真实应用中，/langfuse 技能在哪里会为您节省最多的手工工作？

如何在您自己的应用上工作

当您回到自己的代码库时，按以下顺序执行此操作：

1. 运行 Langfuse CLI，以便您可以从终端管理提示、数据集和运行。CLI 使用与 SDK 相同的项目 API 密钥，因此没有单独的 CLI 登录步骤。将这些值保留在您的应用程序的本地 .env 中：

   LANGFUSE_PUBLIC_KEY=pk-lf-...
   LANGFUSE_SECRET_KEY=sk-lf-...
   LANGFUSE_BASE_URL=https://cloud.langfuse.com

   然后从已加载该文件的 shell 运行 CLI：

   npx langfuse-cli api __schema

   如果您更喜欢全局二进制文件，请安装已发布的 langfuse-cli 包：

   npm install -g langfuse-cli
   langfuse api __schema

2. 安装 Langfuse 技能 (/langfuse)—— 它打包了本研讨会推荐的追踪、提示管理、监控和评估程序模式，并将其应用于您的代码库，无需您手工处理每一部分：

   npx skills add langfuse/skills --skill "langfuse"

3. 选择您拥有的最小的 LLM 使用表面并先连接 observe(...) + observeOpenAI(...)。在做其他事情之前先获得一个追踪。

4. 仅在您至少有两个用户或两个流量会话后才添加用户/会话信息 —— 在那之前没有意义。

5. *从真实追踪、与专家讨论或过去的示例构建您的第一个数据集，而不是从想象中构建。生产行为将随着时间告诉您您的数据集需要覆盖什么。

6. 运行一个实验，更改一个事物，重新运行。 然后重复。

对于每个步骤的更大图景材料，Langfuse 学院 有专门的课程：

• AI 工程循环
• 追踪
• 监控
• 数据集
• 实验
• 评估