Langfuse 工作坊 - 端到端的 AI 工程循环
这是一个基于小型 TypeScript 示例应用的分步 Langfuse 工作坊：Dad IT 支持代理。工作坊涵盖使用 Langfuse 的完整 AI 工程循环...
工作坊资料在公开的 langfuse/langfuse-workshop 仓库中维护。使用该仓库获取可运行的应用、检查点分支和本地设置。
这是一个基于小型 TypeScript 示例应用的分步 Langfuse 工作坊：Dad IT 支持代理。工作坊涵盖使用 Langfuse 的完整 AI 工程循环：追踪、提示词管理、监控、数据集、实验和评估。
您可以通过学习者课程自行完成工作坊，或使用讲师笔记向一个小组讲授相同内容。
面向学习者
从 docs/learner/ 中的学习者课程开始。每节课程告诉您要检查哪个检查点、需要在代码中更改什么或在 Langfuse 中配置什么，以及如何验证结果。
如果您想要以下功能，请使用学习者路径：
- 从真实的 LLM 应用记录您的第一条追踪，并理解您正在查看什么。
- 将提示词移入 Langfuse，以便更改被版本化并链接到追踪。
- 监控生产行为，而无需手动阅读每条追踪。
- 构建数据集、运行实验并用证据评估更改。
- 检查可以从中复制模式的完整 TypeScript 参考实现。
不需要讲师。学习者课程足够完整，可以以自助模式运行工作坊。
面向讲师
讲师指南适合想要向他人讲授 Langfuse 的人。在促进实时工作坊、录制演练或为团队改编资料时，使用 docs/instructor/ 中的笔记以及学习者课程。
为了准备，我们提供了关于如何准备工作坊的指南和幻灯片 docs/preparation_and_materials/。
工作坊不依赖讲师。讲师笔记添加教学要点、演示节奏、设置提醒和常见陷阱；对于独自完成工作坊的人来说不是必需的。
工作坊范围
示例应用是一个小型网络聊天，Dad 打开聊天以获取 iPhone 帮助。该代理名为 Specs，提供分步说明。在底层，它是一个普通的 OpenAI 工具调用循环，有两个本地工具。
main 包含完整的参考应用和当前工作坊文档。使用它来检查最终实现或将您的工作与最终状态进行比较。练习本身从检查点标签开始。
模块
| 步骤 | 学习者课程 | 讲师笔记 | 检查点 | 您将学到的内容 |
|---|---|---|---|---|
| 00 | 设置 | 讲师笔记 | checkpoint/00-setup | 密钥、安装、运行应用。 |
| 01 | 基础应用 | 讲师笔记 | checkpoint/01-base-app | 浏览运行中的应用。没有什么要构建的。 |
| 02 | 追踪 | 讲师笔记 | checkpoint/02-tracing | 记录每个代理步骤：生成、代理根、工具跨度。 |
| 03 | 提示词管理 | 讲师笔记 | checkpoint/03-prompt-management | 将系统提示词移入 Langfuse。 |
| 04 | 监控 | 讲师笔记 | checkpoint/04-monitoring | 捕获超出范围的请求和用户不同意。 |
| 05 | 数据集 | 讲师笔记 | checkpoint/05-dataset | 将产品范围转化为可重用示例。 |
| 06 | 实验 | 讲师笔记 | checkpoint/06-experiments | 针对数据集运行代理并对每项进行评分。 |
| 07 | 评估 | 讲师笔记 | checkpoint/07-evaluation | 更改一项内容，重新运行数据集，比较运行。 |
| 08 | 总结 | 讲师笔记 | checkpoint/08-wrap-up | 将循环应用于您自己的应用。 |
如何进行
main 是完整的参考实现。要进行实际操作，检查您正在启动的课程中命名的检查点，进行缺失的更改，并在继续之前验证结果。
checkpoint/00-setup 和 checkpoint/01-base-app 有意包含相同的未追踪基础应用。设置使用该状态来验证密钥、依赖项和端口；基础应用使用它进行定向。追踪从 02-tracing 开始。
工作坊服务器和 npm 帮助程序脚本将仓库 .env 视为 Node 端的真实来源。来自其他项目的本地 shell 导出不会覆盖 .env，所以在该文件中更改工作坊密钥、Langfuse 主机、提示词标签和数据集名称。
工作坊足够小，可以在一次坐下中完成，每个模块如果您只关心循环的一部分，也可以独立使用。
仓库布局
docs/learner/包含自助式工作坊课程。docs/instructor/包含促进者笔记以讲授相同的课程。docs/images/包含按课程分组的屏幕截图和图表。src/包含示例应用。scripts/包含在后续课程中使用的数据集和提示词帮助程序脚本。
接下来去哪里
- 从
docs/learner/00-setup.md开始按顺序浏览模块。 - 跳转到与您想要学习的内容匹配的任何章节。
- 安装 Langfuse 技能（
/langfuse）以将本工作坊的模式应用于您自己的代码库。 - 有关每个章节的更宏观的资料，请使用 Langfuse Academy。