ClickHouse Serie de migración

Ejecuta ambos.
Demuestra la paridad. Migra.

Crea el origen en Elasticsearch, escribe logs, trazas y métricas en vivo a la vez en ClickHouse Cloud, demuestra que ambos sistemas coinciden y retira Elasticsearch, dejando ClickStack como única interfaz de observabilidad.

4–6 horas · práctico2 cargas en vivo3 señales de telemetría10 pasos de migración

No es una reindexación. Es un cambio controlado de sistemas.

Copiar documentos es la parte fácil. La migración real consiste en sustituir data streams, mappings, ILM, pipelines de ingesta, dashboards de Kibana y reglas de alerta sin perder las señales de las que dependen los operadores.

Este taller ofrece dos cargas en vivo: Filebeat envía tres formatos de log y OpenTelemetry Demo envía trazas, métricas y logs de dieciséis microservicios a través de Elastic APM. Inspeccionas el sistema antes de diseñar su sustituto.

La migración se basa en pruebas. Dos OpenTelemetry Collectors distribuyen los mismos eventos a Elasticsearch y ClickHouse Cloud mientras los scripts de validación comparan recuentos, esquemas, enriquecimiento y actualización.

Solo cuando pasa la puerta de paridad eliminas los exporters de Elasticsearch y detienes la pila antigua. HyperDX se convierte entonces en la única interfaz para búsquedas, dashboards, trazas, métricas, alertas e investigación asistida por IA.

Lo que te llevas

La migración completa, funcionando de principio a fin.

Un origen realista, un destino ClickHouse optimizado y una decisión de migración respaldada por mediciones en vivo.

01

Un origen realista como referencia

Tres data streams de Elasticsearch, cuatro pipelines de ingesta, ILM, seis dashboards de Kibana, Elastic APM y dieciséis servicios instrumentados generando tráfico.

02

Un diseño ClickHouse guiado por las consultas

Claves de ordenación MergeTree elegidas según los patrones de acceso, atributos flexibles de OTel conservados en Map y campos frecuentes promovidos a columnas materializadas tipadas.

03

Procesamiento de ingesta reconstruido explícitamente

Una ruta Null → materialized view → MergeTree con diccionarios IP_TRIE, columnas de enriquecimiento materializadas, TTL, índices de texto y tablas de resumen.

04

Una ejecución en paralelo medible

Los colectores de archivos y OTLP escriben cada señal en ambos backends mientras comprobaciones automatizadas comparan recuentos en vivo y verifican GeoIP, gravedad y campos analizados.

05

ClickStack como superficie operativa

Fuentes de HyperDX para logs, trazas y las cinco tablas de métricas, además de dashboards, búsquedas guardadas, alertas y un gráfico asistido por IA recreados.

06

Decisiones de migración que puedes defender

Cinco traducciones de consultas, un ADR de siete decisiones, seis ejercicios avanzados de SQL y una evaluación por escenarios centrada en las compensaciones, no en los comandos.

Qué sustituye a qué

data streams + ILMparticiones MergeTree + TTL
pipelines de ingestaMVs + columnas + diccionarios
Filebeat / Elastic AgentOpenTelemetry Collector
ECSconvenciones semánticas de OTel
transforms de ElasticsearchMVs AggregatingMergeTree
KibanaHyperDX / ClickStack

El recorrido · 4–6 horas prácticas

Cinco módulos, una migración controlada.

Crea la referencia, toma las decisiones de diseño, ejecuta ambos sistemas a la vez y elimina el backend antiguo solo cuando las pruebas demuestren que es seguro.

  1. 00

    Instala Docker, el cliente de ClickHouse, curl y jq; elige ejecución local o EC2 para el origen; crea la cuenta de ClickHouse Cloud y verifica cada artefacto.

  2. 01

    Inicia Elasticsearch, Kibana, Filebeat, Elastic APM Server, tres generadores de logs y OpenTelemetry Demo; después captura una referencia con datos crecientes.

  3. 02

    Inspecciona mappings, data streams, pipelines, reglas de ciclo de vida y latencia de consultas; traduce cinco consultas; después escribe el esquema de destino y el ADR de migración.

  4. 03

    Aprovisiona ClickHouse, crea diccionarios y tablas, inicia la escritura doble, valida la paridad, configura HyperDX, prueba TTL y resúmenes, migra alertas y completa el cambio.

  5. 04

    Responde quince preguntas de opción múltiple y cinco escenarios abiertos sobre esquemas, planificación de migraciones, depuración y compensaciones de alertas.

Autoguiado de forma predeterminada. El origen creado en el módulo 01 permanece activo hasta el módulo 03. Nunca detengas Elasticsearch antes de que pasen los dos scripts de paridad y estén listas las configuraciones de migración de los colectores.

Antes de participar

Para quién es y qué traer.

Para quién es público

  • Ingenieros de socios de ClickHouse y arquitectos de soluciones que planifican migraciones de observabilidad
  • Equipos que sustituyen el almacenamiento de Elasticsearch manteniendo la instrumentación OpenTelemetry
  • Quienes necesitan explicar cómo se demuestra la paridad antes de migrar
  • Comodidad con una terminal, Docker y SQL; no se requiere experiencia previa operando ClickHouse

Qué traer requisitos previos

  • Docker 24+ y Compose 2.20+ con 16 GB de RAM disponibles; se recomiendan 32 GB
  • El cliente de ClickHouse, curl, jq y una prueba de ClickHouse Cloud
  • Terraform 1.5+, una cuenta de AWS y un par de claves EC2 solo si usas la opción de origen remoto
  • Al menos 5 GB de disco libre para imágenes y volúmenes de contenedores

Cómo funciona formato

  • 100 % práctico, con dos cargas de observabilidad que cambian continuamente
  • Docker local o EC2 aprovisionada con Terraform para el origen; ClickHouse Cloud para el destino
  • Un itinerario del participante, notas correspondientes del instructor, ejercicios editables y respuestas modelo alojadas
  • La evaluación final permite consultar material y pone a prueba el criterio, no la memoria de comandos

Qué no cubre este taller alcance

  • Reindexación histórica masiva desde un clúster Elasticsearch de producción existente
  • Identidad, redes privadas, multitenencia o controles de cumplimiento en producción
  • Planificación de capacidad a largo plazo o una certificación formal de rendimiento
  • Las reglas de alerta incluidas demuestran el patrón; la integración con el proveedor de notificaciones queda para tu entorno

¿Listo para hacer medible la migración?

Trae una prueba de ClickHouse Cloud y una máquina capaz de ejecutar la pila de origen. Sal con cada subsistema de Elasticsearch mapeado, tres señales en vivo validadas en paralelo y una migración con plan de reversión que sabes explicar.

3Logs, trazas y métricas validados en ambos backends.
2→1Dos sistemas en vivo durante la demostración; uno después de migrar.
20Comprobaciones de conocimientos más cinco escenarios abiertos de migración.
ES