Elasticsearch MigrationClickHouse Workshops

00 Préparation

Installez les outils requis, créez un compte ClickHouse Cloud, clonez le dépôt et vérifiez les ressources de l'atelier.

Point de départ

Vous avez besoin d'un terminal, d'une machine capable d'exécuter Docker et d'environ 15 minutes. Avant de commencer le module 01, choisissez si l'environnement source Elasticsearch s'exécutera localement ou sur EC2.

Étape 1 — Installer la chaîne d'outils

PrérequisVersion ou remarque
Docker Engine et ComposeDocker 24 ou version ultérieure ; Compose 2.20 ou version ultérieure
Mémoire disponible16 Go au minimum ; 32 Go recommandés
DisqueAu moins 5 Go disponibles
curl et jqUtilisés par les scripts de validation
CLI ClickHouseUtilisée pour le DDL, les dictionnaires et la validation
TerraformVersion 1.5 ou ultérieure, uniquement pour l'option de source EC2
Compte AWS et paire de clés EC2Uniquement pour l'option de source EC2

Installez la CLI ClickHouse et créez un compte d'essai ClickHouse Cloud avant le module 03.

Étape 2 — Cloner les ressources

git clone https://github.com/ClickHouse/ClickHouse_Demos.git
cd ClickHouse_Demos
git switch build-workshop-v1
cd workshops/elasticsearch_migration_lab

Le guide hébergé contient les instructions et les corrigés. Ce répertoire ne contient que les fichiers à exécuter ou modifier : Docker Compose, Terraform, configurations des collecteurs, SQL, tableaux de bord, scripts de validation et fiches de conception. La partie 4 s'effectue de manière interactive dans le guide.

Étape 3 — Vérifier le dépôt extrait

test -f part1/docker/docker-compose.source.yml
test -f part2/exercises/worksheet.md
test -f part3/clickhouse/schema.sql
docker --version
docker compose version
jq --version

Si vous utilisez l'option EC2, exécutez également :

terraform version
aws sts get-caller-identity

Jalons d'architecture

L'atelier passe par quatre états délibérés :

  1. Source : Filebeat et le collecteur OTel Demo alimentent Elasticsearch et Elastic APM.
  2. Cible provisionnée : les tables, dictionnaires et vues matérialisées ClickHouse existent, mais ne reçoivent aucune donnée.
  3. Exécution parallèle : les deux collecteurs écrivent à la fois dans Elasticsearch et ClickHouse afin d'en vérifier l'équivalence.
  4. Bascule : les collecteurs écrivent uniquement dans ClickHouse et HyperDX devient l'interface d'observabilité.

Comment vérifier que vous avez terminé

  • Les trois commandes test -f se terminent sans erreur.
  • Docker et Compose affichent des versions égales ou supérieures aux minimums indiqués.
  • Vous pouvez vous connecter à ClickHouse Cloud.
  • Si vous utilisez EC2, les contrôles Terraform et d'identité AWS réussissent.

Passez à 01 Construction de l'environnement source.

Sur cette page

Suivre votre progression ?

Facultatif. Nous envoyons un lien par e-mail pour confirmer votre adresse ; la progression est enregistrée après son ouverture.

Utilisez votre adresse e-mail professionnelle, et non une adresse personnelle.

Le suivi de la progression exige aussi d’accepter les Conditions d’utilisation actuelles dans les Paramètres de confidentialité.

FR