Laboratório de migração do Snowflake com dados de táxis de NYC
Migre uma carga de trabalho do Snowflake com características de produção para o ClickHouse Cloud — 50 milhões de linhas, um pipeline Medallion no dbt, sete consultas analíticas, produtores em tempo real e dashboards de BI — e depois defenda suas decisões.
Boas-vindas ao guia do Laboratório de migração do Snowflake com dados de táxis de NYC. Este laboratório foi criado para arquitetos de soluções da ClickHouse e parceiros que estão aprendendo a migrar uma carga de trabalho do Snowflake em nível de produção para o ClickHouse Cloud: um fluxo sintético de corridas de táxi de NYC com 50 milhões de linhas, um pipeline Medallion completo no dbt, sete consultas analíticas complexas, produtores de dados em tempo real e dashboards do Superset, tudo projetado para simular o tipo de carga que você encontrará em projetos reais com clientes.
Por que fazer este workshop
O objetivo deste laboratório não é simplesmente mover linhas de um data warehouse para outro —
um script de cópia faz isso. O objetivo é tomar e defender as decisões impostas por uma migração
real: qual família de mecanismos MergeTree é adequada para cada tabela, como projetar uma chave
ORDER BY que justifique seu custo e quais recursos idiomáticos do SQL do Snowflake não têm
equivalente direto no ClickHouse. Ao final, você saberá analisar o perfil de uma carga de trabalho
do Snowflake, tomar decisões corretas sobre mecanismos e esquemas, executar uma migração no estilo
de produção com um script retomável, reconstruir um pipeline dbt no ClickHouse, quantificar o caso
de negócio com um benchmark de sete consultas e explicar e defender cada uma dessas decisões.
Este guia tem três trilhas. A trilha do participante é a aula que você seguirá. A trilha do instrutor acompanha os mesmos módulos com orientações para facilitação: duração, roteiro, falhas comuns e etapas de redefinição. A seção de referência reúne materiais permanentes sobre mecanismos, dbt e dashboards, feitos para serem consultados junto a qualquer módulo, sem uma ordem obrigatória.
Módulos
| Nº | Participante | Instrutor | Resultado |
|---|---|---|---|
| 00 | Preparação | notas | Cadeia de ferramentas instalada, contas de avaliação nas duas nuvens criadas, repositório clonado e os dois ambientes virtuais do dbt configurados — tudo de que a migração precisa antes de tocar nos dados |
| 01 | Ambiente de origem | notas | Um ambiente Snowflake que reproduz uma implantação real de cliente: 50 milhões de linhas, um pipeline Medallion no dbt, um produtor de corridas em tempo real e três dashboards do Superset |
| 02 | Planejamento e projeto | notas | Perfil da carga do Snowflake concluído e decisões arquiteturais da migração explicitadas: seleção de mecanismo, chaves de ordenação, tradução de esquema, ondas de implantação e projeto dos modelos dbt |
| 03 | Provisionamento e migração | notas | ClickHouse Cloud provisionado com Terraform, tabelas de destino criadas a partir do seu plano e 50 milhões de linhas transferidas com um script de migração retomável em Python |
| 04 | Reconstrução do pipeline dbt | notas | Pipeline Medallion reconstruído no ClickHouse com dbt-clickhouse — modelos incrementais delete_insert, ReplacingMergeTree e views materializadas atualizáveis — e dicionário de zonas criado |
| 05 | Benchmark e virada | notas | Dashboards reconstruídos no ClickHouse, as sete consultas comparadas nos dois mecanismos, produtor redirecionado, paridade verificada e recursos das duas nuvens removidos |
| 06 | Avaliação | notas | Avaliação com 20 questões de múltipla escolha e 4 questões abertas concluída, com consulta permitida, para conquistar o selo de proficiência em migrações ClickHouse |
O que este laboratório não cobre
Este laboratório se limita ao padrão central de migração. Os seguintes assuntos estão deliberadamente fora do escopo:
- Ingestão de streaming em tempo real — o laboratório usa um produtor de corridas baseado em Docker para as gravações em tempo real após a virada, e não Kafka, Kinesis ou fontes de streaming do ClickPipes.
- Clusters ClickHouse com vários nós — todo o trabalho ocorre em uma implantação de serviço único no ClickHouse Cloud; implantações distribuídas autogerenciadas (sharding e topologia de replicação) não são abordadas.
- Governança de dados e controle de acesso — acesso baseado em funções, segurança no nível da linha e políticas de mascaramento não são implementados.
- Evolução incremental do esquema — o laboratório usa um esquema fixo do início ao fim; mudanças de esquema em tempo real durante a migração não são abordadas.
- Origens diferentes do Snowflake — o padrão de migração é específico do Snowflake. PostgreSQL, MySQL, BigQuery e outras origens têm dialetos SQL e abordagens de CDC distintos.
- SLA e monitoramento de produção — observabilidade, alertas e gerenciamento de SLA no ClickHouse Cloud em produção não são abordados.
Tempo e custo
| Módulo | Tempo decorrido | Créditos do Snowflake | ClickHouse Cloud |
|---|---|---|---|
| 00 — Preparação | ~30 min | — | — |
| 01 — Ambiente de origem | ~45 min | ~2–4 créditos | — |
| 02 — Planejamento e projeto | ~90 min | ~0,5 crédito | — |
| 03 — Provisionamento e migração | ~60 min | ~1–2 créditos | ~$1–2 (avaliação) |
| 04 — Reconstrução do pipeline dbt | ~30 min | ~0,5–1 crédito | ~$0,5–1 (avaliação) |
| 05 — Benchmark e virada | ~45 min | ~1–2 créditos | ~$0,5–1 (avaliação) |
| 06 — Avaliação | ~60 min | — | — |
| Total | ~6 horas | ~6–10 créditos | ~$2–4 |
As estimativas de créditos do Snowflake pressupõem um warehouse X-Small padrão. O custo do ClickHouse Cloud pressupõe um serviço da categoria Development removido em poucas horas.