Superset บน ClickHouse

คู่มือนี้พาคุณตั้งค่า dataset, chart และ dashboard ของ ClickHouse ทั้งหมดด้วยมือใน Superset ทำตามคู่มือนี้เพื่อเข้าใจว่าการแสดงผลแต่ละชุดทำอะไรและถูกสร้างขึ้นอย่างไร

ต้องการข้ามไปเลย? รันสคริปต์นำเข้าเพื่อให้ทุกอย่างถูกสร้างให้อัตโนมัติ:

source .env && source .clickhouse_state
bash superset/add_clickhouse_connection.sh

สคริปต์จะสร้างการเชื่อมต่อ นำเข้า dataset ทั้ง 7 ชุด, chart ทั้ง 18 ชุด และ dashboard ทั้ง 4 ชุดในครั้งเดียว ใช้คู่มือนี้เป็นเอกสารอ้างอิงหรือเพื่อสร้างชิ้นส่วนแต่ละชิ้นใหม่

สำคัญ — credential ตัวอย่างใน superset/dashboards/dashboard_export_*.zip

ZIP ของ dashboard ที่ commit ไว้มี databases/*.yaml ถูกปิดบังเป็นค่าตัวอย่าง:

sqlalchemy_uri: clickhousedb://default:XXXXXXXXXX@your-instance.clickhouse.cloud:8443/analytics?secure=true

• การนำเข้าอัตโนมัติ (add_clickhouse_connection.sh) — ใช้ได้ทันที สคริปต์จะเขียน sqlalchemy_uri ภายใน ZIP ใหม่โดยใช้ ${CLICKHOUSE_HOST} / ${CLICKHOUSE_USER} / ${CLICKHOUSE_PASSWORD} จาก .env ของคุณ ก่อน ส่งไปที่ endpoint นำเข้า ดังนั้นโฮสต์ตัวอย่างจะไม่ไปถึง Superset เลย
• การนำเข้าด้วยมือผ่าน Superset UI — ฐานข้อมูลที่นำเข้าจะถูกสร้างด้วย your-instance.clickhouse.cloud และเชื่อมต่อไม่ได้ หลังนำเข้า ให้ไปที่ Settings → Database Connections → Edit รายการนั้นและแทน sqlalchemy_uri ด้วย URI ของ ClickHouse Cloud จริงของคุณ (เช่น clickhousedb://default:<PASSWORD>@<your-host>.clickhouse.cloud:8443/analytics?secure=true)
• การส่งออก dashboard ของคุณเองอีกครั้ง — Superset ฝังโฮสต์ ClickHouse จริงของคุณลงในไฟล์ส่งออก ก่อน commit ให้ปิดบังโฮสต์กลับไปเป็น your-instance.clickhouse.cloud เพื่อไม่ให้ตัวระบุ service ของคุณรั่วเข้าไปในประวัติ git

สิ่งที่ต้องมีก่อน: ชั้น analytics มีข้อมูลแล้ว (dbt run เสร็จในขั้นที่ 7.3) และ dictionary มีอยู่แล้ว (scripts/04_create_dictionary.sql เสร็จในขั้นที่ 7.4)

ขั้นที่ 0 — ลงทะเบียนการเชื่อมต่อ ClickHouse

1. เข้าสู่ระบบ Superset ที่ http://localhost:8088 (admin / admin)

2. ไปที่ Settings → Database Connections

3. คลิก + Database

4. เลือก ClickHouse Connect จากรายการ

5. กรอกข้อมูล:

   ฟิลด์	ค่า
   Display Name	NYC Taxi — ClickHouse Cloud
   Host	ชื่อโฮสต์ ClickHouse Cloud ของคุณ (จาก .clickhouse_state)
   Port	8443
   Database	analytics
   Username	default
   Password	รหัสผ่าน ClickHouse Cloud ของคุณ
   SSL	เปิดใช้

6. คลิก Test Connection — ยืนยันแถบแจ้งสำเร็จสีเขียว

7. คลิก Connect

ส่วนที่ 1 — สร้าง Dataset

Dataset 1 — fact_trips (table dataset)

ใช้โดย: Operations Command Center, Executive Weekly Report, Driver Quality Analytics, Capabilities Showcase

1. ไปที่ Datasets → + Dataset
2. ตั้ง Database = NYC Taxi — ClickHouse Cloud, Schema = analytics, Table = fact_trips
3. คลิก Add Dataset and Create Chart → แล้วออกจากหน้านั้น — dataset ถูกบันทึกแล้ว

Dataset 2 — agg_hourly_zone_trips (table dataset)

ใช้โดย: Operations Command Center, Executive Weekly Report

1. ไปที่ Datasets → + Dataset
2. ตั้ง Database = NYC Taxi — ClickHouse Cloud, Schema = analytics, Table = agg_hourly_zone_trips
3. คลิก Save

Dataset 3 — CH Approx Unique Trips (uniqHLL12) (virtual)

ใช้โดย: Capabilities Showcase — สาธิตการนับแบบประมาณด้วย uniqHLL12() เทียบกับ uniq() ที่แม่นยำ

1. ไปที่ Datasets → + Dataset
2. คลิก Switch to SQL Lab (หรือเลือกแท็บ Virtual)
3. ตั้ง Database = NYC Taxi — ClickHouse Cloud
4. วาง SQL:

SELECT
  toDate(pickup_at)                                                     AS day,
  uniq(trip_id)                                                         AS exact_unique_trips,
  uniqHLL12(trip_id)                                                    AS approx_unique_trips,
  round(
    abs(uniq(trip_id) - uniqHLL12(trip_id)) / uniq(trip_id) * 100, 2
  )                                                                     AS pct_error
FROM analytics.fact_trips FINAL
WHERE pickup_at >= today() - INTERVAL 30 DAY
GROUP BY day
ORDER BY day

5. ตั้งชื่อว่า CH Approx Unique Trips (uniqHLL12) แล้วคลิก Save

Dataset 4 — CH Cohort Retention (virtual)

ใช้โดย: Capabilities Showcase — สาธิต window function (AVG(...) OVER (...)) สำหรับรายได้เลื่อนแยกตามเขต

1. ไปที่ Datasets → + Dataset → Virtual
2. ตั้ง Database = NYC Taxi — ClickHouse Cloud
3. วาง SQL:

SELECT
  week,
  pickup_borough,
  trips,
  revenue,
  round(avg(revenue) OVER (
    PARTITION BY pickup_borough
    ORDER BY week
    ROWS BETWEEN 3 PRECEDING AND CURRENT ROW
  ), 2) AS rolling_4wk_avg_revenue
FROM (
  SELECT
    toStartOfWeek(pickup_at)       AS week,
    pickup_borough,
    count()                        AS trips,
    round(sum(fare_amount_usd), 2) AS revenue
  FROM analytics.fact_trips FINAL
  GROUP BY week, pickup_borough
)
ORDER BY week DESC, revenue DESC
LIMIT 100

4. ตั้งชื่อว่า CH Cohort Retention แล้วคลิก Save

Dataset 5 — CH Fare Percentiles (quantileTDigest) (virtual)

ใช้โดย: Capabilities Showcase — สาธิต quantileTDigest() ในฐานะฟังก์ชันเปอร์เซ็นไทล์ที่มีอยู่ใน ClickHouse

1. ไปที่ Datasets → + Dataset → Virtual
2. ตั้ง Database = NYC Taxi — ClickHouse Cloud
3. วาง SQL:

SELECT
  vendor_name,
  quantileTDigest(0.5)(fare_amount_usd)  AS p50_fare,
  quantileTDigest(0.95)(fare_amount_usd) AS p95_fare,
  quantileTDigest(0.99)(fare_amount_usd) AS p99_fare,
  count()                                AS trip_count
FROM analytics.fact_trips FINAL
GROUP BY vendor_name
ORDER BY vendor_name

4. ตั้งชื่อว่า CH Fare Percentiles (quantileTDigest) แล้วคลิก Save

Dataset 6 — CH Sampling Demo (virtual)

ใช้โดย: Capabilities Showcase — สาธิตการสุ่มตัวอย่างด้วย rand() % N เทียบกับการสแกนทั้งตาราง โดยเปรียบเทียบความแม่นยำ

1. ไปที่ Datasets → + Dataset → Virtual
2. ตั้ง Database = NYC Taxi — ClickHouse Cloud
3. วาง SQL:

SELECT
  'Full Scan'              AS method,
  count()                  AS trip_count,
  round(avg(fare_amount_usd), 4) AS avg_fare
FROM analytics.fact_trips FINAL
UNION ALL
SELECT
  '~10% (rand() % 10 = 0)' AS method,
  count() * 10              AS trip_count_est,
  round(avg(fare_amount_usd), 4) AS avg_fare
FROM analytics.fact_trips FINAL
WHERE rand() % 10 = 0

4. ตั้งชื่อว่า CH Sampling Demo แล้วคลิก Save

Dataset 7 — CH Zone Dict Lookup (virtual)

ใช้โดย: Capabilities Showcase — สาธิต dictGet() สำหรับการเพิ่มข้อมูล dimension โดยไม่ต้อง JOIN

ต้องมี: dictionary analytics.taxi_zones_dict จากขั้นที่ 7.4 (scripts/04_create_dictionary.sql)

1. ไปที่ Datasets → + Dataset → Virtual
2. ตั้ง Database = NYC Taxi — ClickHouse Cloud
3. วาง SQL:

SELECT
  dictGet('analytics.taxi_zones_dict', 'borough', toUInt16(pickup_location_id)) AS borough,
  dictGet('analytics.taxi_zones_dict', 'zone',    toUInt16(pickup_location_id)) AS zone,
  count()                                                                        AS trips,
  round(avg(fare_amount_usd), 2)                                                 AS avg_fare
FROM default.trips_raw
WHERE pickup_at >= today() - INTERVAL 7 DAY
GROUP BY borough, zone
ORDER BY trips DESC

4. ตั้งชื่อว่า CH Zone Dict Lookup แล้วคลิก Save

dataset นี้อ่านจาก default.trips_raw (ตารางดิบ) แทน analytics.fact_trips เพื่อแสดงให้เห็นว่า dictionary ทำงานได้ที่ชั้นต้นทางโดยไม่ต้องประมวลผลล่วงหน้าเลย

ส่วนที่ 2 — สร้าง Chart

สร้าง chart ผ่าน Charts → + Chart เลือก dataset เลือกประเภท chart ตั้งค่าฟิลด์ แล้ว Save ด้วยชื่อที่ระบุไว้ตรงตัว

Dashboard 1 — CH Operations Command Center

Chart: CH Total Trips Today

บันทึกเป็น CH Total Trips Today

Chart: CH Revenue Today

บันทึกเป็น CH Revenue Today

Chart: CH Trip Volume by Hour (24h)

บันทึกเป็น CH Trip Volume by Hour (24h)

Chart: CH Revenue by Zone (Top 10)

บันทึกเป็น CH Revenue by Zone (Top 10)

Dashboard 2 — CH Executive Weekly Report

Chart: CH Daily Revenue (7 days)

บันทึกเป็น CH Daily Revenue (7 days)

Chart: CH Top Zones by Revenue

บันทึกเป็น CH Top Zones by Revenue

Chart: CH Payment Distribution

บันทึกเป็น CH Payment Distribution

Chart: CH Avg Fare by Vendor

บันทึกเป็น CH Avg Fare by Vendor

Dashboard 3 — CH Driver Quality Analytics

Chart: CH Rating Distribution

บันทึกเป็น CH Rating Distribution

Chart: CH High-Rated Driver Revenue

บันทึกเป็น CH High-Rated Driver Revenue

Chart: CH Avg Fare by Driver Rating

บันทึกเป็น CH Avg Fare by Driver Rating

Chart: CH Top Drivers Leaderboard

บันทึกเป็น CH Top Drivers Leaderboard

Dashboard 4 — CH Capabilities Showcase

Chart: CH Recent Trips (fact_trips)

บันทึกเป็น CH Recent Trips (fact_trips)

Chart: CH Fare Percentiles (quantileTDigest)

บันทึกเป็น CH Fare Percentiles (quantileTDigest)

Chart: CH Approx vs Exact Unique Trips (uniqHLL12)

บันทึกเป็น CH Approx vs Exact Unique Trips (uniqHLL12)

Chart: CH Sampling Accuracy Demo (SAMPLE 0.1)

บันทึกเป็น CH Sampling Accuracy Demo (SAMPLE 0.1)

Chart: CH Zone Lookup via Dictionary (dictGet)

บันทึกเป็น CH Zone Lookup via Dictionary (dictGet)

Chart: CH Weekly Revenue Trend (window functions)

บันทึกเป็น CH Weekly Revenue Trend (window functions)

ส่วนที่ 3 — ประกอบ Dashboard

สำหรับแต่ละ dashboard:

1. ไปที่ Dashboards → + Dashboard
2. ใส่ชื่อ
3. คลิก Save แล้ว Edit Dashboard
4. จากแผงด้านขวา ลาก chart แต่ละตัวลงบนพื้นที่ทำงาน
5. คลิก Save เมื่อเสร็จ

CH — Operations Command Center

ชื่อ: CH — Operations Command Center

CH — Executive Weekly Report

ชื่อ: CH — Executive Weekly Report

CH — Driver Quality Analytics

ชื่อ: CH — Driver Quality Analytics

CH — Capabilities Showcase

ชื่อ: CH — Capabilities Showcase

การตรวจสอบ

หลังทำส่วนที่ 3 เสร็จ ให้เปิด http://localhost:8088 ใต้ Dashboards คุณควรเห็นทั้งหมด 7 ชุด — dashboard ของ Snowflake 3 ชุด (จากการ setup ใน Part 1) และอีก 4 ชุดที่มีคำนำหน้า CH —

การแก้ปัญหา

ไม่พบ fact_trips หรือ agg_hourly_zone_trips รัน dbt run ก่อน (ขั้นที่ 7.3)

dictGet คืนค่าเป็นสตริงว่าง dictionary analytics.taxi_zones_dict ยังไม่ถูกสร้าง รัน scripts/04_create_dictionary.sql (ขั้นที่ 7.4)

Virtual dataset ไม่คืนแถวใดเลย หน้าต่าง 30 วัน / 7 วันใน query บางตัวต้องมีข้อมูลล่าสุด ถ้าข้อมูลการย้ายระบบของคุณเป็นข้อมูลย้อนหลังทั้งหมด ให้แทนตัวกรองเวลาด้วยวันที่คงที่:

-- Replace: WHERE pickup_at >= today() - INTERVAL 30 DAY
-- With:    WHERE pickup_at >= '2023-01-01'

ข้อผิดพลาด 403 จากสคริปต์นำเข้า cookie เซสชัน Superset ของคุณหมดอายุ ออกจากระบบแล้วเข้าใหม่ จากนั้นรันอีกครั้ง