学员指南
你需要动手完成的实操模块,从一台空白笔记本一路做到完成迁移并基准测试的工作负载。
按顺序完成各个模块,每个模块都会说明它的起始检查点,所以你随时清楚开始之前必须满足哪些 条件。全部完成后,你将已经剖析过一个 Snowflake 工作负载、做出了明确的引擎与 schema 决策、 执行了迁移、在 ClickHouse 上重建了 dbt 流水线、对结果做了基准测试,并把一个实时生产者从 一个云切换到了另一个云。
让 Snowflake 生产者一直运行到模块 05
模块 01 会启动一个向 Snowflake 写入实时行程数据的生成器。它必须一直运行到模块 05。 在模块 02、03 和 04 期间,请勿主动或意外停止它。模块 05 的切换 步骤要测量的正是从写入停止发往 Snowflake 到写入在 ClickHouse 上恢复之间的确切间隔。 过早停掉生产者,那一步就没有任何可测量的东西,这是最容易毁掉本实验的一个操作。
模块
- 环境准备,安装工具链、创建两个云试用 账号、克隆仓库,并构建两个 dbt 虚拟环境。
- 源环境, 开通一个映射真实客户部署的 Snowflake 环境,并启动实时行程生产者。
- 规划与设计,剖析 Snowflake 工作负载,并做出迁移将要执行的架构决策。
- 开通与迁移, 开通 ClickHouse Cloud,并用可续跑的迁移脚本搬迁 5000 万行数据。
- 重建 dbt 流水线,用 dbt-clickhouse 在 ClickHouse 上重建 Medallion 流水线。
- 基准测试与切换, 对两个引擎做基准测试、切换生产者、验证一致性并拆除资源。
- 考核,赢取 ClickHouse Migration Proficiency Badge 的开卷考核。
如果出了问题
故障排查 是一份按症状、原因和修复 方式组织的参考资料,覆盖学员在运行本实验时真正会遇到的故障,并按其出现的模块分组。在求助 之前先去那里查一查,修复方法很可能已经写在上面了。