ClickHouse Série Migration

Déplacez la charge.
Prouvez le gain.

Cinquante millions de lignes, un pipeline dbt Medallion complet, sept requêtes analytiques, des producteurs de données en direct et des dashboards Superset : une charge Snowflake réaliste que vous migrez de bout en bout vers ClickHouse Cloud, puis comparez et défendez.

6 heures · sept modules50 M de lignes migrées7 requêtes comparées~2 à 4 $ de crédits d'essai

Ce n'est pas un simple transfert. C'est un journal de décisions.

Tout le monde peut écrire un script qui copie cinquante millions de lignes d'un data warehouse à un autre. Ce n'est ni la partie difficile d'une migration, ni ce qu'un client paie un architecte solutions pour réussir.

La difficulté précède la copie : quelle famille de moteurs MergeTree convient à chaque table, quand une clé ORDER BY mérite réellement son coût et quels idiomes Snowflake — QUALIFY, VARIANT, une TASK planifiée — n'ont pas d'équivalent direct dans ClickHouse et exigent une véritable traduction.

Ce laboratoire vous fait consigner ces décisions avant de les exécuter. Le module 02 produit un migration-plan.md justifiant chaque choix, et le script de configuration du module 03 vérifie sa présence avant que vous ne touchiez à ClickHouse.

Au module 06, vous défendez ce plan, à livre ouvert, face à une évaluation de vingt questions et quatre questions ouvertes : le même test de jugement qu'une véritable conversation client.

Ce avec quoi vous repartez

Tout ce qui fonctionnera à la fin.

Sur vos propres essais Snowflake et ClickHouse Cloud ; aucun ne demande de carte bancaire.

01

Une charge Snowflake profilée

Tables inventoriées, modes de requête identifiés, écarts de dialecte SQL repérés et effort de migration évalué avant toute planification.

02

Les bonnes décisions de moteur et de schéma

La bonne famille de moteurs MergeTree pour chaque table, une clé ORDER BY qui mérite son coût, et les types et idiomes Snowflake traduits en équivalents ClickHouse.

03

Une migration réaliste exécutée

50 millions de lignes déplacées avec un script Python reprenable, la parité validée et la bascule du producteur scriptée.

04

Un pipeline dbt reconstruit sur ClickHouse

dbt-clickhouse configuré avec delete_insert, des modèles ReplacingMergeTree et des materialized views actualisables.

05

L'analyse de rentabilité quantifiée

Un benchmark de sept requêtes transformable en gains de performances de 6 à 9x que vous savez défendre devant un client.

06

Des décisions que vous savez expliquer

L'évaluation du module 06 réussie : la preuve que vous pouvez appliquer le même modèle à la charge d'un nouveau client.

Les écarts de dialecte que vous traduisez vraiment

QUALIFYsous-requête avec ROW_NUMBER
LATERAL FLATTENJSONExtract / arrayJoin
VARIANTJSON / String avec fonctions d'extraction
MERGEReplacingMergeTree avec delete_insert
TASK planifiéematerialized view actualisable
STREAMflux du producteur en direct

Le parcours · 6 heures de pratique

Sept modules, dans l'ordre.

Un flux de bout en bout : profilez la source, planifiez la cible, déplacez les données, reconstruisez le pipeline, puis prouvez le gain.

  1. 00

    Installez les outils, créez les deux comptes d'essai cloud, clonez le dépôt et construisez les deux environnements virtuels dbt : tout le nécessaire avant de toucher aux données.

  2. 01

    Provisionnez un environnement Snowflake semblable au déploiement d'un vrai client : 50 M de lignes, un pipeline dbt Medallion, un producteur de trajets en direct et trois dashboards Superset.

  3. 02

    Profilez la charge Snowflake, puis prenez les décisions d'architecture que la migration exécutera : choix du moteur, clés de tri, traduction du schéma, vagues de déploiement et conception des modèles dbt.

  4. 03

    Provisionnez ClickHouse Cloud avec Terraform, créez les tables cibles d'après votre plan et déplacez 50 millions de lignes avec un script reprenable. Prévoyez 60 minutes ; environ 40 à 50 correspondent à un transfert autonome qui peut s'exécuter en arrière-plan.

  5. 04

    Reconstruisez le pipeline Medallion sur ClickHouse avec dbt-clickhouse — modèles incrémentaux delete_insert, ReplacingMergeTree et materialized views actualisables — puis créez le dictionnaire des zones.

  6. 05

    Reconstruisez les dashboards sur ClickHouse, comparez les sept requêtes sur les deux moteurs, basculez le producteur, vérifiez la parité et supprimez les ressources.

  7. 06

    Passez l'évaluation à livre ouvert de 20 QCM et 4 questions ouvertes pour obtenir le badge ClickHouse Migration Proficiency.

Autonome par défaut. Chaque module indique son checkpoint de départ afin que personne ne soit bloqué par le rythme du groupe. Le producteur Snowflake lancé au module 01 doit continuer jusqu'au module 05 : organisez vos pauses autour de lui, pas pendant son exécution.

Avant de participer

À qui s'adresse le laboratoire et que faut-il apporter ?

À qui s'adresse-t-il ? public

  • Architectes solutions et partenaires ClickHouse menant des missions de migration Snowflake
  • Toute personne à qui l'on a demandé « Pourquoi ce moteur, pourquoi cette clé de tri ? » et qui veut une réponse défendable
  • Équipes sur le point de sortir de Snowflake une charge analytique réaliste
  • Être à l'aise avec SQL et un terminal ; aucune expérience en ingénierie des données n'est requise

Ce qu'il faut apporter prérequis

  • Les outils du module 00 : Terraform, Docker, Python 3.11 à 3.13, dbt Core et la CLI SnowSQL
  • Un compte d'essai Snowflake, sans carte bancaire
  • Un compte d'essai ClickHouse Cloud, sans carte bancaire
  • Environ 2 à 4 $ de crédits d'essai ClickHouse Cloud sont consommés pendant la session

Déroulement format

  • 100 % pratique sur sept modules ; toutes les commandes et requêtes sont prêtes à copier-coller
  • Autonome ou animé, avec un parcours formateur reflétant chaque module
  • Le producteur Snowflake fonctionne en direct pendant toute la session : le timing est réel, pas simulé
  • L'évaluation du module 06 est à livre ouvert et auto-administrée

Ce que ce laboratoire ne couvre pas périmètre

  • Ingestion par streaming en temps réel : un producteur de trajets sous Docker remplace Kafka, Kinesis ou ClickPipes
  • Clusters ClickHouse à plusieurs nœuds : tout le travail s'effectue sur un seul service ClickHouse Cloud
  • Gouvernance des données et contrôle d'accès : l'accès par rôles, la sécurité au niveau des lignes et le masquage ne sont pas mis en œuvre
  • Évolution incrémentale du schéma, sources autres que Snowflake et SLA et supervision en production : chacun constitue un sujet distinct

Prêt à déplacer la charge ?

Venez avec des essais Snowflake et ClickHouse Cloud. Repartez avec 50 millions de lignes migrées, un pipeline dbt reconstruit et sept requêtes comparées que vous savez défendre devant un client.

50 MLignes migrées avec un script Python reprenable.
6 à 9xAccélérations mesurées sur les sept requêtes du benchmark ; elles restent illustratives jusqu'à l'exécution des vôtres au module 05.
BadgeObtenu au module 06 en défendant votre plan de migration.
FR