ClickHouse Série de Migração

Mova a carga.
Comprove o ganho.

Cinquenta milhões de linhas, um pipeline dbt Medallion completo, sete consultas analíticas, produtores de dados ao vivo e dashboards do Superset — uma carga realista do Snowflake que você migra de ponta a ponta para o ClickHouse Cloud, compara e defende.

6 horas · sete módulos50 mi de linhas migradas7 consultas comparadas~US$ 2 a 4 em créditos de avaliação

Não é uma simples transferência. É um registro de decisões.

Qualquer pessoa pode escrever um script que copie cinquenta milhões de linhas de um data warehouse para outro. Essa não é a parte difícil da migração nem aquilo que um cliente paga para um arquiteto de soluções acertar.

A parte difícil vem antes da cópia: qual família de engines MergeTree serve para cada tabela, quando uma chave ORDER BY realmente justifica seu custo e quais padrões do Snowflake — QUALIFY, VARIANT, uma TASK agendada — não têm equivalente direto no ClickHouse e exigem uma tradução de verdade.

Este laboratório faz você registrar essas decisões antes de executá-las. O módulo 02 produz um migration-plan.md com cada escolha justificada, e o script de configuração do módulo 03 verifica sua existência antes de você tocar no ClickHouse.

No módulo 06, você defende o plano com consulta permitida em uma avaliação de vinte questões e quatro perguntas abertas — o mesmo teste de julgamento presente em uma conversa real com um cliente.

O que você leva

Tudo o que estará funcionando ao final.

Nas suas próprias avaliações do Snowflake e do ClickHouse Cloud — nenhuma exige cartão de crédito.

01

Uma carga do Snowflake analisada

Tabelas inventariadas, padrões de consulta identificados, diferenças de dialeto SQL detectadas e esforço de migração dimensionado antes de qualquer planejamento.

02

Decisões corretas de engine e esquema

A família de engines MergeTree certa para cada tabela, uma chave ORDER BY que justifica seu custo e tipos e padrões do Snowflake traduzidos para equivalentes do ClickHouse.

03

Uma migração realista executada

50 milhões de linhas movidas com um script Python retomável, paridade validada e cutover programado do produtor.

04

Um pipeline dbt reconstruído no ClickHouse

dbt-clickhouse configurado com delete_insert, modelos ReplacingMergeTree e materialized views atualizáveis.

05

O caso de negócio quantificado

Um benchmark de sete consultas que você transforma em ganhos de desempenho de 6 a 9x defensáveis diante de um cliente.

06

Decisões que você sabe explicar

A avaliação do módulo 06 aprovada — prova de que você aplica o mesmo padrão à carga de um novo cliente.

As diferenças de dialeto que você realmente traduz

QUALIFYsubconsulta com ROW_NUMBER
LATERAL FLATTENJSONExtract / arrayJoin
VARIANTJSON / String com funções de extração
MERGEReplacingMergeTree com delete_insert
TASK agendadamaterialized view atualizável
STREAMfeed do produtor ao vivo

O percurso · 6 horas práticas

Sete módulos, em ordem.

Um único fluxo, do início ao fim: analise a origem, planeje o destino, mova os dados, reconstrua o pipeline e comprove o ganho.

  1. 00

    Instale as ferramentas, crie as duas contas de avaliação na nuvem, clone o repositório e crie os dois ambientes virtuais do dbt — tudo de que a migração precisa antes de tocar nos dados.

  2. 01

    Provisione um ambiente Snowflake semelhante ao de um cliente real: 50 milhões de linhas, pipeline dbt Medallion, produtor de corridas ao vivo e três dashboards do Superset.

  3. 02

    Analise a carga no Snowflake e tome as decisões arquiteturais que a migração executará: escolha de engine, chaves de ordenação, tradução de esquema, ondas de implantação e design de modelos dbt.

  4. 03

    Provisione o ClickHouse Cloud com Terraform, crie as tabelas de destino a partir do plano e mova 50 milhões de linhas com um script retomável. Reserve 60 minutos — cerca de 40 a 50 são uma transferência autônoma que pode rodar em segundo plano.

  5. 04

    Reconstrua o pipeline Medallion no ClickHouse com dbt-clickhouse — modelos incrementais delete_insert, ReplacingMergeTree e materialized views atualizáveis — e crie o dicionário de zonas.

  6. 05

    Reconstrua os dashboards no ClickHouse, compare as sete consultas nas duas engines, faça o cutover do produtor, verifique a paridade e desmonte os recursos.

  7. 06

    Conclua a avaliação com consulta permitida, com 20 questões de múltipla escolha e 4 abertas, para conquistar o selo ClickHouse Migration Proficiency.

Autoguiado por padrão. Cada módulo informa seu checkpoint inicial, assim ninguém fica preso ao ritmo da turma. O produtor do Snowflake iniciado no módulo 01 deve continuar em execução até o módulo 05 — planeje os intervalos ao redor dele, não durante sua execução.

Antes de participar

Para quem é e o que levar.

Para quem é público

  • Arquitetos de soluções e parceiros do ClickHouse que conduzem migrações do Snowflake
  • Quem já ouviu “por que esta engine, por que esta chave de ordenação?” e quer uma resposta defensável
  • Equipes prestes a retirar do Snowflake uma carga analítica realista
  • À vontade com SQL e terminal — não é necessário ter experiência em engenharia de dados

O que levar pré-requisitos

  • As ferramentas do módulo 00: Terraform, Docker, Python 3.11 a 3.13, dbt Core e a CLI SnowSQL
  • Uma conta de avaliação do Snowflake — sem necessidade de cartão de crédito
  • Uma conta de avaliação do ClickHouse Cloud — sem necessidade de cartão de crédito
  • Cerca de US$ 2 a 4 em créditos de avaliação do ClickHouse Cloud são consumidos durante a sessão

Como funciona formato

  • 100% prático em sete módulos — todos os comandos e consultas são copiar e colar
  • Autoguiado ou facilitado, com uma trilha do instrutor que acompanha cada módulo
  • O produtor do Snowflake funciona ao vivo o tempo todo; portanto, o tempo é real, não simulado
  • A avaliação do módulo 06 permite consulta e é feita pelo próprio participante

O que este laboratório não aborda escopo

  • Ingestão de streaming em tempo real — um produtor de corridas em Docker representa Kafka, Kinesis ou ClickPipes
  • Clusters ClickHouse com vários nós — todo o trabalho usa um único serviço do ClickHouse Cloud
  • Governança de dados e controle de acesso — acesso baseado em funções, segurança por linha e mascaramento não são implementados
  • Evolução incremental de esquema, origens diferentes do Snowflake e SLA e monitoramento de produção — cada item é um tema próprio

Pronto para mover a carga?

Traga avaliações do Snowflake e do ClickHouse Cloud. Saia com 50 milhões de linhas migradas, um pipeline dbt reconstruído e sete consultas comparadas que você sabe defender diante de um cliente.

50 miLinhas migradas com um script Python retomável.
6 a 9xAceleração medida nas sete consultas do benchmark — ilustrativa até você executar a sua no módulo 05.
SeloConquistado no módulo 06 ao defender seu plano de migração.
PT