Elasticsearch MigrationClickHouse Workshops

03 Exécution de la migration — notes du formateur

Cadencez la construction de la cible, l'exécution parallèle, l'exploration de ClickStack, la validation de l'équivalence et la bascule définitive.

Durée

Il s'agit du module le plus long. Faites une pause après la création du schéma cible, après le démarrage de la double écriture et avant la bascule. Ne laissez pas un groupe rapide sauter la validation pendant qu'un autre groupe ingère encore des données.

Points pédagogiques

  • Créez les dictionnaires avant les tables, car les colonnes matérialisées résolvent les références aux dictionnaires lors du DDL.
  • La table Null associée à une vue matérialisée constitue une frontière de transformation à l'insertion, pas un stockage dupliqué.
  • La distribution du collecteur est le plan de contrôle de la migration : le même événement en temps réel atteint les deux systèmes cibles.
  • Les vues matérialisées AggregatingMergeTree remplacent les transformations Elasticsearch périodiques par des états incrémentaux.

Conditions imposant l'arrêt de la séance

  • Les journaux du collecteur contiennent des erreurs de connexion à ClickHouse.
  • Les décomptes d'Elasticsearch et de ClickHouse divergent au-delà de la tolérance documentée.
  • La validation de l'enrichissement échoue.
  • Un participant s'apprête à arrêter Elasticsearch avant la réussite des scripts de validation finaux.

Réinitialisation

Exécutez bash common/cleanup.sh depuis la racine des ressources, puis reprenez au module 01. Si seul le collecteur est en échec, supprimez otelcol-lab, laissez l'environnement source fonctionner et recommencez l'étape 3.

Jalon impératif

Les deux collecteurs utilisent les configurations de bascule, Elasticsearch est arrêté, les décomptes ClickHouse continuent d'augmenter et le participant sait rechercher des données de télémétrie corrélées dans HyperDX.

Sur cette page

FR