ClickHouse Chuỗi Di chuyển

Chuyển workload.
Chứng minh hiệu quả.

Năm mươi triệu dòng, một dbt pipeline Medallion đầy đủ, bảy query phân tích, các producer sinh dữ liệu trực tiếp, và dashboard Superset — một workload Snowflake giống production mà bạn di chuyển sang ClickHouse Cloud từ đầu đến cuối, rồi benchmark và bảo vệ.

6 giờ · bảy module50M dòng di chuyển7 query benchmark~$2-4 tín dụng dùng thử

Không phải bê nguyên và dọn sang. Một sổ ghi quyết định.

Ai cũng viết được một script copy năm mươi triệu dòng từ warehouse này sang warehouse khác. Phần đó của một cuộc di chuyển không phải phần khó, và cũng không phải thứ khách hàng trả tiền để một Solutions Architect làm cho đúng.

Phần khó nằm ở phía trước bước copy: họ engine MergeTree nào phù hợp với từng bảng, một key ORDER BY thực sự đáng giá ở chỗ nào, và những idiom Snowflake nào — QUALIFY, VARIANT, một TASK có lịch chạy — không có tương đương trực tiếp trong ClickHouse và cần một bản dịch thật sự.

Lab này buộc bạn viết những quyết định đó xuống trước khi thực thi. Module 02 tạo ra một migration-plan.md với mọi lựa chọn đều có lý giải, và script setup của module 03 kiểm tra nó trước khi bạn chạm vào ClickHouse.

Đến module 06, bạn bảo vệ kế hoạch đó, được mở tài liệu, trước một bài đánh giá hai mươi câu và bốn câu hỏi mở — đúng kiểu thử thách về phán đoán mà một cuộc trao đổi thật với khách hàng đặt ra cho bạn.

Bạn ra về với những gì

Tất cả những thứ sẽ chạy được khi kết thúc.

Trên bản dùng thử Snowflake của bạn và bản dùng thử ClickHouse Cloud của bạn — không cần thẻ tín dụng ở cả hai.

01

Một workload Snowflake, đã được phân tích

Kiểm kê bảng, nhận diện mẫu query, phát hiện khoảng cách phương ngữ SQL, và định lượng công sức di chuyển trước khi lập bất kỳ kế hoạch nào.

02

Quyết định engine và schema đúng đắn

Đúng họ engine MergeTree cho từng bảng, một key ORDER BY thực sự đáng giá, và các kiểu dữ liệu cùng idiom Snowflake được dịch sang tương đương trong ClickHouse.

03

Một cuộc di chuyển kiểu production, đã thực thi

50 triệu dòng được chuyển bằng một script Python có thể chạy tiếp, đối chiếu tính khớp, và một lần cắt chuyển producer bằng script.

04

Một dbt pipeline dựng lại trên ClickHouse

dbt-clickhouse cấu hình với delete_insert, các model ReplacingMergeTree, và materialized view làm mới được.

05

Luận cứ kinh doanh, đã lượng hoá

Một benchmark bảy query mà bạn biến thành các con số hiệu năng 6-9x có thể bảo vệ trước khách hàng.

06

Những quyết định bạn giải thích được

Bài đánh giá module 06, đã vượt qua — bằng chứng bạn áp dụng được cùng mẫu đó cho workload của một khách hàng mới.

Những khoảng cách phương ngữ bạn thật sự phải dịch

QUALIFYsubquery với ROW_NUMBER
LATERAL FLATTENJSONExtract / arrayJoin
VARIANTJSON / String với các hàm extract
MERGEReplacingMergeTree với delete_insert
scheduled TASKmaterialized view làm mới được
STREAMluồng producer trực tiếp

Lộ trình · 6 giờ thực hành

Bảy module, theo thứ tự.

Một mạch liền, từ đầu đến cuối: phân tích nguồn, thiết kế đích, chuyển dữ liệu, dựng lại pipeline, rồi chứng minh hiệu quả.

  1. 00

    Cài bộ toolchain, tạo cả hai tài khoản dùng thử trên cloud, clone repo, và dựng cả hai virtualenv cho dbt — mọi thứ cuộc di chuyển cần trước khi bạn chạm vào dữ liệu.

  2. 01

    Dựng một môi trường Snowflake phản chiếu một triển khai khách hàng thật: 50M dòng, một dbt pipeline Medallion, một producer sinh chuyến đi trực tiếp, và ba dashboard Superset.

  3. 02

    Phân tích workload Snowflake, rồi đưa ra các quyết định kiến trúc mà cuộc di chuyển sẽ thực thi: chọn engine, sort key, dịch schema, các đợt triển khai, và thiết kế model dbt.

  4. 03

    Dựng ClickHouse Cloud bằng Terraform, tạo các bảng đích từ kế hoạch của bạn, và chuyển 50 triệu dòng bằng một script có thể chạy tiếp. Dự trù tổng 60 phút — khoảng 40-50 phút trong đó là truyền dữ liệu không cần trông, bạn có thể để chạy ở chế độ nền.

  5. 04

    Dựng lại pipeline Medallion trên ClickHouse với dbt-clickhouse — model incremental delete_insert, ReplacingMergeTree, materialized view làm mới được — và tạo dictionary vùng.

  6. 05

    Dựng lại các dashboard trên ClickHouse, benchmark cả bảy query trên cả hai engine, cắt chuyển producer, kiểm tra tính khớp, và dỡ bỏ hạ tầng.

  7. 06

    Đánh giá

    60 phút

    Hoàn thành bài đánh giá 20 câu trắc nghiệm và 4 câu hỏi mở, được mở tài liệu, để nhận ClickHouse Migration Proficiency Badge.

Mặc định là tự học. Mỗi module nêu checkpoint khởi đầu, nên không ai bị bỏ lại vì nhịp của cả lớp. Producer Snowflake khởi động ở module 01 phải chạy liên tục đến hết module 05 — hãy xếp giờ nghỉ quanh nó, đừng cắt ngang nó.

Trước khi tham gia

Dành cho ai, và cần mang gì.

Dành cho ai đối tượng

  • Solutions Architect của ClickHouse và các đối tác đang làm dự án di chuyển từ Snowflake
  • Bất cứ ai từng bị hỏi “vì sao chọn engine này, vì sao chọn sort key này?” và muốn một câu trả lời bảo vệ được
  • Các đội sắp chuyển một workload phân tích giống production ra khỏi Snowflake
  • Quen SQL và terminal — không cần nền tảng data engineering

Cần mang gì yêu cầu

  • Bộ toolchain của module 00: Terraform, Docker, Python 3.11-3.13, dbt Core, và SnowSQL CLI
  • Một tài khoản dùng thử Snowflake — không cần thẻ tín dụng
  • Một tài khoản dùng thử ClickHouse Cloud — không cần thẻ tín dụng
  • Khoảng $2-4 tín dụng dùng thử ClickHouse Cloud được tiêu trong buổi học

Buổi học diễn ra thế nào định dạng

  • 100% thực hành qua bảy module — mọi câu lệnh và query đều copy-paste
  • Tự học hoặc có người điều phối, kèm lộ trình giảng viên đối chiếu từng module
  • Producer Snowflake chạy trực tiếp suốt buổi, nên nhịp thời gian là thật, không phải mô phỏng
  • Bài đánh giá của module 06 được mở tài liệu và tự thực hiện

Lab này không bao gồm gì phạm vi

  • Ingestion streaming real-time — một producer chuyến đi dựa trên Docker thay vai cho Kafka, Kinesis hoặc ClickPipes
  • Cluster ClickHouse nhiều node — toàn bộ công việc nằm trên một triển khai ClickHouse Cloud một service
  • Quản trị dữ liệu và kiểm soát truy cập — phân quyền theo role, bảo mật mức dòng và masking đều không được triển khai
  • Tiến hoá schema dần dần, các nguồn không phải Snowflake, và SLA cùng giám sát production — mỗi thứ là một chủ đề riêng

Sẵn sàng chuyển workload chưa?

Mang theo một bản dùng thử Snowflake và một bản dùng thử ClickHouse Cloud. Ra về với 50 triệu dòng đã di chuyển, một dbt pipeline đã dựng lại, và bảy query đã benchmark mà bạn bảo vệ được trước khách hàng.

50MDòng đã di chuyển bằng một script Python có thể chạy tiếp.
6-9xMức nhanh hơn đo được trên cả bảy query benchmark — chỉ mang tính minh hoạ cho đến khi bạn tự chạy ở module 05.
BadgeNhận ở module 06 bằng cách bảo vệ kế hoạch di chuyển của bạn.
VI