Elasticsearch MigrationClickHouse Workshops

03 Executar a migração — notas do instrutor

Controle o ritmo da criação do destino, da execução paralela, da exploração do ClickStack, da validação de paridade e da transição final.

Cronograma

Este é o módulo mais longo. Faça pausas após a criação do esquema de destino, após o início da gravação dupla e antes da transição. Não deixe um grupo mais rápido pular a validação enquanto outro ainda está ingerindo dados.

Pontos de ensino

  • Crie os dicionários antes das tabelas, pois as colunas materializadas resolvem referências a dicionários no momento do DDL.
  • A tabela Null com uma view materializada é um limite de transformação no momento da inserção, não um armazenamento duplicado.
  • O fan-out do collector é o plano de controle da migração: o mesmo evento em tempo real chega aos dois backends.
  • As views materializadas AggregatingMergeTree substituem as transformações periódicas do Elasticsearch por estados incrementais.

Condições para interromper a sessão

  • Os logs do Collector contêm falhas de conexão com o ClickHouse.
  • As contagens do Elasticsearch e do ClickHouse divergem além da tolerância documentada.
  • A validação de enriquecimento falha.
  • Algum participante está prestes a parar o Elasticsearch antes de os scripts de validação final passarem.

Redefinição

Execute bash common/cleanup.sh na raiz dos artefatos e recomece no módulo 01. Para uma falha exclusiva do collector, remova otelcol-lab, mantenha a stack de origem em execução e repita a Etapa 3.

Checkpoint obrigatório

Os dois collectors usam as configurações de transição, o Elasticsearch está parado, as contagens do ClickHouse continuam crescendo e o participante consegue pesquisar telemetria correlacionada no HyperDX.

Nesta página

PT