Uma origem realista como referência
Três data streams do Elasticsearch, quatro pipelines de ingestão, ILM, seis dashboards do Kibana, Elastic APM e dezesseis serviços instrumentados gerando tráfego.
ClickHouse Série de Migração
Crie a origem no Elasticsearch, grave logs, traces e métricas ao vivo simultaneamente no ClickHouse Cloud, comprove que os dois sistemas estão de acordo e aposente o Elasticsearch, deixando o ClickStack como única interface de observabilidade.
Não é uma reindexação. É uma mudança controlada de sistemas.
Copiar documentos é a parte fácil. A migração de verdade substitui data streams, mappings, ILM, pipelines de ingestão, dashboards do Kibana e regras de alerta sem perder os sinais dos quais os operadores dependem.
Este workshop oferece duas cargas ao vivo: o Filebeat enviando três formatos de log e o OpenTelemetry Demo enviando traces, métricas e logs de dezesseis microsserviços por meio do Elastic APM. Você inspeciona o sistema antes de projetar seu substituto.
O cutover é orientado por evidências. Dois OpenTelemetry Collectors distribuem os mesmos eventos para o Elasticsearch e o ClickHouse Cloud enquanto scripts de validação comparam contagens, esquemas, enriquecimento e atualização.
Somente depois que o portão de paridade é aprovado você remove os exporters do Elasticsearch e encerra a stack antiga. O HyperDX então se torna a única interface para busca, dashboards, traces, métricas, alertas e investigação assistida por IA.
O que você leva
Uma origem realista, um destino ClickHouse otimizado e uma decisão de cutover respaldada por medições ao vivo.
Três data streams do Elasticsearch, quatro pipelines de ingestão, ILM, seis dashboards do Kibana, Elastic APM e dezesseis serviços instrumentados gerando tráfego.
Chaves de ordenação MergeTree escolhidas a partir dos padrões de acesso, atributos flexíveis do OTel mantidos em Map e campos frequentes promovidos a colunas materializadas tipadas.
Um caminho Null → materialized view → MergeTree com dicionários IP_TRIE, colunas de enriquecimento materializadas, TTL, índices de texto e tabelas de resumo.
Coletores de arquivos e OTLP gravam cada sinal nos dois backends enquanto verificações automatizadas comparam contagens ao vivo e validam GeoIP, gravidade e campos analisados.
Fontes do HyperDX para logs, traces e as cinco tabelas de métricas, além de dashboards, buscas salvas, alertas e um gráfico assistido por IA recriados.
Cinco traduções de consultas, um ADR com sete decisões, seis exercícios avançados de SQL e uma avaliação baseada em cenários, focada em trade-offs e não em comandos.
O que substitui o quê
O percurso · 4 a 6 horas práticas
Crie a referência, tome as decisões de design, execute os dois sistemas juntos e remova o backend antigo somente quando as evidências mostrarem que é seguro.
Instale Docker, o cliente do ClickHouse, curl e jq; escolha execução local ou EC2 para a origem; crie a conta no ClickHouse Cloud e verifique cada artefato.
Inicie Elasticsearch, Kibana, Filebeat, Elastic APM Server, três geradores de logs e o OpenTelemetry Demo; depois registre uma referência com dados crescentes.
Inspecione mappings, data streams, pipelines, regras de ciclo de vida e latência das consultas; traduza cinco consultas; depois escreva o esquema de destino e o ADR da migração.
Provisione o ClickHouse, crie dicionários e tabelas, inicie a gravação dupla, valide a paridade, configure o HyperDX, teste TTL e resumos, migre alertas e faça o cutover.
Responda a quinze perguntas de múltipla escolha e cinco cenários abertos sobre esquema, planejamento da migração, depuração e trade-offs de alertas.
Autoguiado por padrão. A origem criada no módulo 01 permanece ativa até o módulo 03. Nunca encerre o Elasticsearch antes que os dois scripts de paridade sejam aprovados e as configurações de cutover dos coletores estejam prontas.
Antes de participar
Traga uma avaliação do ClickHouse Cloud e uma máquina capaz de executar a stack de origem. Saia com cada subsistema do Elasticsearch mapeado, três sinais ao vivo validados em paralelo e um cutover com plano de reversão que você sabe explicar.