Superset en ClickHouse

Cómo reconstruir los paneles sobre ClickHouse: siete conjuntos de datos que ejercitan uniqHLL12, quantileTDigest, muestreo, funciones de ventana y dictGet, y después 18 gráficos repartidos en cuatro paneles.

Esta guía explica la configuración manual completa de todos los conjuntos de datos, gráficos y paneles de ClickHouse en Superset. Síguela para entender qué hace cada visualización y cómo se construye.

¿Quieres saltarte el trabajo manual? Ejecuta el script de importación para crearlo todo automáticamente:
source .env && source .clickhouse_state
bash superset/add_clickhouse_connection.sh
El script crea de una vez la conexión, los 7 conjuntos, los 18 gráficos y los 4 paneles. Usa esta guía como referencia o para reconstruir piezas individuales.

Importante: credenciales de marcador en superset/dashboards/dashboard_export_*.zip.

El ZIP de paneles incluido tiene los archivos databases/*.yaml anonimizados:
sqlalchemy_uri: clickhousedb://default:XXXXXXXXXX@your-instance.clickhouse.cloud:8443/analytics?secure=true
Importación automática (add_clickhouse_connection.sh): funciona sin cambios. Antes de llamar al endpoint de importación, el script reescribe sqlalchemy_uri dentro del ZIP con ${CLICKHOUSE_HOST} / ${CLICKHOUSE_USER} / ${CLICKHOUSE_PASSWORD} de tu .env, por lo que el host de marcador nunca llega a Superset.

Importación manual mediante la interfaz de Superset: la base importada se crea con your-instance.clickhouse.cloud y no se conecta. Tras importar, ve a Settings → Database Connections → Edit y sustituye sqlalchemy_uri por tu URI real de ClickHouse Cloud (por ejemplo, clickhousedb://default:<PASSWORD>@<your-host>.clickhouse.cloud:8443/analytics?secure=true).

Volver a exportar tus paneles: Superset incorpora el host real de ClickHouse en la exportación. Antes de incluirla, anonimiza el host de nuevo como your-instance.clickhouse.cloud para que el identificador del servicio no se filtre al historial de git.

Requisitos previos: la capa analítica está poblada (dbt run completado en el Paso 7.3) y existe el diccionario (scripts/04_create_dictionary.sql completado en el Paso 7.4).

Paso 0: registrar la conexión de ClickHouse

Inicia sesión en Superset en http://localhost:8088 (admin / admin).
Ve a Settings → Database Connections.
Haz clic en + Database.
Selecciona ClickHouse Connect en la lista.

Rellena:

Campo	Valor
Display Name	`NYC Taxi — ClickHouse Cloud`
Host	tu nombre de host de ClickHouse Cloud (de `.clickhouse_state`)
Port	`8443`
Database	`analytics`
Username	`default`
Password	tu contraseña de ClickHouse Cloud
SSL	activado

Haz clic en Test Connection y confirma que aparece el indicador verde de éxito.
Haz clic en Connect.

Parte 1: crear conjuntos de datos

Conjunto 1: `fact_trips` (tabla)

Usado por: Operations Command Center, Executive Weekly Report, Driver Quality Analytics y Capabilities Showcase

Ve a Datasets → + Dataset.
Define Database = NYC Taxi — ClickHouse Cloud, Schema = analytics y Table = fact_trips.
Haz clic en Add Dataset and Create Chart y sal de la página; el conjunto queda guardado.

Conjunto 2: `agg_hourly_zone_trips` (tabla)

Usado por: Operations Command Center y Executive Weekly Report

Ve a Datasets → + Dataset.
Define Database = NYC Taxi — ClickHouse Cloud, Schema = analytics y Table = agg_hourly_zone_trips.
Haz clic en Save.

Conjunto 3: `CH Approx Unique Trips (uniqHLL12)` (virtual)

Usado por: Capabilities Showcase; demuestra el recuento aproximado uniqHLL12() frente al exacto uniq().

Ve a Datasets → + Dataset.
Haz clic en Switch to SQL Lab (o selecciona la pestaña Virtual).
Define Database = NYC Taxi — ClickHouse Cloud.
Pega el SQL:

SELECT
  toDate(pickup_at)                                                     AS day,
  uniq(trip_id)                                                         AS exact_unique_trips,
  uniqHLL12(trip_id)                                                    AS approx_unique_trips,
  round(
    abs(uniq(trip_id) - uniqHLL12(trip_id)) / uniq(trip_id) * 100, 2
  )                                                                     AS pct_error
FROM analytics.fact_trips FINAL
WHERE pickup_at >= today() - INTERVAL 30 DAY
GROUP BY day
ORDER BY day

Ponle CH Approx Unique Trips (uniqHLL12) y haz clic en Save.

Conjunto 4: `CH Cohort Retention` (virtual)

Usado por: Capabilities Showcase; demuestra funciones de ventana (AVG(...) OVER (...)) para ingresos móviles por distrito.

Ve a Datasets → + Dataset → Virtual.
Define Database = NYC Taxi — ClickHouse Cloud.
Pega el SQL:

SELECT
  week,
  pickup_borough,
  trips,
  revenue,
  round(avg(revenue) OVER (
    PARTITION BY pickup_borough
    ORDER BY week
    ROWS BETWEEN 3 PRECEDING AND CURRENT ROW
  ), 2) AS rolling_4wk_avg_revenue
FROM (
  SELECT
    toStartOfWeek(pickup_at)       AS week,
    pickup_borough,
    count()                        AS trips,
    round(sum(fare_amount_usd), 2) AS revenue
  FROM analytics.fact_trips FINAL
  GROUP BY week, pickup_borough
)
ORDER BY week DESC, revenue DESC
LIMIT 100

Ponle CH Cohort Retention y haz clic en Save.

Conjunto 5: `CH Fare Percentiles (quantileTDigest)` (virtual)

Usado por: Capabilities Showcase; demuestra quantileTDigest() como función nativa de percentiles de ClickHouse.

Ve a Datasets → + Dataset → Virtual.
Define Database = NYC Taxi — ClickHouse Cloud.
Pega el SQL:

SELECT
  vendor_name,
  quantileTDigest(0.5)(fare_amount_usd)  AS p50_fare,
  quantileTDigest(0.95)(fare_amount_usd) AS p95_fare,
  quantileTDigest(0.99)(fare_amount_usd) AS p99_fare,
  count()                                AS trip_count
FROM analytics.fact_trips FINAL
GROUP BY vendor_name
ORDER BY vendor_name

Ponle CH Fare Percentiles (quantileTDigest) y haz clic en Save.

Conjunto 6: `CH Sampling Demo` (virtual)

Usado por: Capabilities Showcase; demuestra el muestreo rand() % N frente a un recorrido completo y compara la precisión.

Ve a Datasets → + Dataset → Virtual.
Define Database = NYC Taxi — ClickHouse Cloud.
Pega el SQL:

SELECT
  'Full Scan'              AS method,
  count()                  AS trip_count,
  round(avg(fare_amount_usd), 4) AS avg_fare
FROM analytics.fact_trips FINAL
UNION ALL
SELECT
  '~10% (rand() % 10 = 0)' AS method,
  count() * 10              AS trip_count_est,
  round(avg(fare_amount_usd), 4) AS avg_fare
FROM analytics.fact_trips FINAL
WHERE rand() % 10 = 0

Ponle CH Sampling Demo y haz clic en Save.

Conjunto 7: `CH Zone Dict Lookup` (virtual)

Usado por: Capabilities Showcase; demuestra dictGet() para enriquecer dimensiones sin JOIN.

Requiere: el diccionario analytics.taxi_zones_dict del Paso 7.4 (scripts/04_create_dictionary.sql).

Ve a Datasets → + Dataset → Virtual.
Define Database = NYC Taxi — ClickHouse Cloud.
Pega el SQL:

SELECT
  dictGet('analytics.taxi_zones_dict', 'borough', toUInt16(pickup_location_id)) AS borough,
  dictGet('analytics.taxi_zones_dict', 'zone',    toUInt16(pickup_location_id)) AS zone,
  count()                                                                        AS trips,
  round(avg(fare_amount_usd), 2)                                                 AS avg_fare
FROM default.trips_raw
WHERE pickup_at >= today() - INTERVAL 7 DAY
GROUP BY borough, zone
ORDER BY trips DESC

Ponle CH Zone Dict Lookup y haz clic en Save.

Este conjunto lee de default.trips_raw (tabla sin procesar), no de analytics.fact_trips, para mostrar el diccionario funcionando en la capa de origen sin ningún preprocesamiento.

Parte 2: crear gráficos

Crea los gráficos desde Charts → + Chart: selecciona el conjunto, elige el tipo, configura los campos y pulsa Save con el nombre exacto indicado.

Panel 1: CH Operations Command Center

Gráfico: CH Total Trips Today

Ajuste	Valor
Conjunto	`fact_trips`
Tipo de gráfico	Big Number
Métrica	COUNT(`trip_id`)
Filtro temporal	`pickup_at` = `today : now`
Subtítulo	`trips today`

Guárdalo como CH Total Trips Today.

Gráfico: CH Revenue Today

Ajuste	Valor
Conjunto	`fact_trips`
Tipo de gráfico	Big Number
Métrica	SUM(`fare_amount_usd`)
Filtro temporal	`pickup_at` = `today : now`
Subtítulo	`revenue today`

Guárdalo como CH Revenue Today.

Gráfico: CH Trip Volume by Hour (24h)

Ajuste	Valor
Conjunto	`agg_hourly_zone_trips`
Tipo de gráfico	Line Chart (ECharts)
Eje X	`hour_bucket`
Métrica	SUM(`trips`)
Granularidad temporal	1 hora

Guárdalo como CH Trip Volume by Hour (24h).

Gráfico: CH Revenue by Zone (Top 10)

Ajuste	Valor
Conjunto	`agg_hourly_zone_trips`
Tipo de gráfico	Bar Chart
Dimensiones	`zone_id`
Métrica	SUM(`revenue`)
Límite de filas	10
Ordenar barras	activado

Guárdalo como CH Revenue by Zone (Top 10).

Panel 2: CH Executive Weekly Report

Gráfico: CH Daily Revenue (7 days)

Ajuste	Valor
Conjunto	`fact_trips`
Tipo de gráfico	Line Chart (ECharts)
Eje X	`pickup_at`
Métrica	SUM(`fare_amount_usd`)
Granularidad temporal	1 hora

Guárdalo como CH Daily Revenue (7 days).

Gráfico: CH Top Zones by Revenue

Ajuste	Valor
Conjunto	`agg_hourly_zone_trips`
Tipo de gráfico	Bar Chart
Dimensiones	`zone_id`
Métrica	SUM(`revenue`)
Límite de filas	20
Ordenar barras	activado

Guárdalo como CH Top Zones by Revenue.

Gráfico: CH Payment Distribution

Ajuste	Valor
Conjunto	`fact_trips`
Tipo de gráfico	Pie Chart
Dimensiones	`payment_type`
Métrica	COUNT(`trip_id`)

Guárdalo como CH Payment Distribution.

Gráfico: CH Avg Fare by Vendor

Ajuste	Valor
Conjunto	`fact_trips`
Tipo de gráfico	Bar Chart
Dimensiones	`vendor_name`
Métrica	AVG(`fare_amount_usd`)
Límite de filas	20
Ordenar barras	activado

Guárdalo como CH Avg Fare by Vendor.

Panel 3: CH Driver Quality Analytics

Gráfico: CH Rating Distribution

Ajuste	Valor
Conjunto	`fact_trips`
Tipo de gráfico	Bar Chart
Dimensiones	`driver_rating`
Métrica	COUNT(`trip_id`)
Límite de filas	20
Ordenar barras	activado

Guárdalo como CH Rating Distribution.

Gráfico: CH High-Rated Driver Revenue

Ajuste	Valor
Conjunto	`fact_trips`
Tipo de gráfico	Big Number
Métrica	SUM(`fare_amount_usd`)
Filtro	`driver_rating >= 4.5`
Subtítulo	`revenue from 4.5+ rated drivers`

Guárdalo como CH High-Rated Driver Revenue.

Gráfico: CH Avg Fare by Driver Rating

Ajuste	Valor
Conjunto	`fact_trips`
Tipo de gráfico	Bar Chart
Dimensiones	`driver_rating`
Métrica	AVG(`fare_amount_usd`)
Límite de filas	20
Ordenar barras	activado

Guárdalo como CH Avg Fare by Driver Rating.

Gráfico: CH Top Drivers Leaderboard

Ajuste	Valor
Conjunto	`fact_trips`
Tipo de gráfico	Table
Modo de consulta	Raw records
Columnas	`vendor_name`, `vehicle_type`, `driver_rating`, `fare_amount_usd`
Límite de filas	1000

Guárdalo como CH Top Drivers Leaderboard.

Panel 4: CH Capabilities Showcase

Gráfico: CH Recent Trips (fact_trips)

Ajuste	Valor
Conjunto	`fact_trips`
Tipo de gráfico	Table
Modo de consulta	Raw records
Columnas	`trip_id`, `pickup_at`, `dropoff_at`, `fare_amount_usd`, `pickup_borough`, `vendor_name`
Límite de filas	1000

Guárdalo como CH Recent Trips (fact_trips).

Gráfico: CH Fare Percentiles (quantileTDigest)

Ajuste	Valor
Conjunto	`CH Fare Percentiles (quantileTDigest)`
Tipo de gráfico	Table
Modo de consulta	Raw records
Columnas	`vendor_name`, `p50_fare`, `p95_fare`, `p99_fare`, `trip_count`

Guárdalo como CH Fare Percentiles (quantileTDigest).

Gráfico: CH Approx vs Exact Unique Trips (uniqHLL12)

Ajuste	Valor
Conjunto	`CH Approx Unique Trips (uniqHLL12)`
Tipo de gráfico	Table
Modo de consulta	Raw records
Columnas	`day`, `exact_unique_trips`, `approx_unique_trips`, `pct_error`

Guárdalo como CH Approx vs Exact Unique Trips (uniqHLL12).

Gráfico: CH Sampling Accuracy Demo (SAMPLE 0.1)

Ajuste	Valor
Conjunto	`CH Sampling Demo`
Tipo de gráfico	Table
Modo de consulta	Raw records
Columnas	`method`, `trip_count`, `avg_fare`

Guárdalo como CH Sampling Accuracy Demo (SAMPLE 0.1).

Gráfico: CH Zone Lookup via Dictionary (dictGet)

Ajuste	Valor
Conjunto	`CH Zone Dict Lookup`
Tipo de gráfico	Table
Modo de consulta	Raw records
Columnas	`borough`, `zone`, `trips`, `avg_fare`

Guárdalo como CH Zone Lookup via Dictionary (dictGet).

Gráfico: CH Weekly Revenue Trend (window functions)

Ajuste	Valor
Conjunto	`CH Cohort Retention`
Tipo de gráfico	Table
Modo de consulta	Raw records
Columnas	`week`, `pickup_borough`, `trips`, `revenue`, `rolling_4wk_avg_revenue`

Guárdalo como CH Weekly Revenue Trend (window functions).

Parte 3: montar los paneles

Para cada panel:

Ve a Dashboards → + Dashboard.
Introduce el título.
Haz clic en Save y después en Edit Dashboard.
Arrastra cada gráfico desde el panel derecho al lienzo.
Haz clic en Save al terminar.

CH — Operations Command Center

Título: CH — Operations Command Center

Fila	Gráficos
Fila 1	CH Total Trips Today · CH Revenue Today
Fila 2	CH Trip Volume by Hour (24h) · CH Revenue by Zone (Top 10)

CH — Executive Weekly Report

Título: CH — Executive Weekly Report

Fila	Gráficos
Fila 1	CH Daily Revenue (7 days) · CH Top Zones by Revenue · CH Payment Distribution · CH Avg Fare by Vendor

CH — Driver Quality Analytics

Título: CH — Driver Quality Analytics

Fila	Gráficos
Fila 1	CH Rating Distribution · CH High-Rated Driver Revenue
Fila 2	CH Avg Fare by Driver Rating · CH Top Drivers Leaderboard

CH — Capabilities Showcase

Título: CH — Capabilities Showcase

Fila	Gráficos
Fila 1	CH Recent Trips (fact_trips) · CH Fare Percentiles (quantileTDigest)
Fila 2	CH Approx vs Exact Unique Trips (uniqHLL12) · CH Sampling Accuracy Demo (SAMPLE 0.1)
Fila 3	CH Zone Lookup via Dictionary (dictGet) · CH Weekly Revenue Trend (window functions)

Verificación

Tras completar la Parte 3, abre http://localhost:8088. En Dashboards debes ver 7 en total: 3 de Snowflake (de la configuración de la Parte 1) y 4 con el prefijo CH —.

Solución de problemas

No se encuentra fact_trips o agg_hourly_zone_trips Ejecuta primero dbt run (Paso 7.3).

dictGet devuelve cadenas vacías No se ha creado el diccionario analytics.taxi_zones_dict. Ejecuta scripts/04_create_dictionary.sql (Paso 7.4).

El conjunto virtual no devuelve filas La ventana de 30/7 días de algunas consultas requiere datos recientes. Si todos los datos migrados son históricos, sustituye el filtro temporal por una fecha fija:

-- Replace: WHERE pickup_at >= today() - INTERVAL 30 DAY
-- With:    WHERE pickup_at >= '2023-01-01'

Error 403 del script de importación La cookie de sesión de Superset ha caducado. Cierra sesión, vuelve a iniciarla y ejecuta de nuevo el script.

En esta página