03 Nạp dữ liệu — hai cách

Dữ liệu nằm trong một S3 bucket công khai, nên không cần key hay credential nào — bạn chỉ cần trỏ tới URL. Quá trình truyền chạy phía server từ S3 sang ClickHouse, nên nó không đẩy 26.5 triệu dòng qua laptop của bạn và cũng không phụ thuộc vào Wi-Fi của địa điểm.

Bạn sẽ nạp cùng 26.5M tick đó theo hai cách khác nhau để thấy được cả hai. Cách 1 là ClickPipes, pipeline được quản lý và thao tác bằng click mà bạn sẽ dùng trong production. Cách 2 là một dòng SQL duy nhất — cách nhanh nhất để đưa dữ liệu vào khi demo. Hãy làm theo thứ tự; một câu TRUNCATE ở giữa giúp số dòng không bị nhân đôi.

Cách 1 — ClickPipes, cách được quản lý dùng cho production

ClickPipes là một dịch vụ nạp dữ liệu được quản lý hoàn toàn: trỏ nó vào object storage hoặc một stream và nó sẽ liên tục nạp dữ liệu, không cần tự viết connector. Đây là toàn bộ luồng.

1. Trong menu bên trái, click Data sources, rồi nhấn nút Create ClickPipe.

Data sources cũng là nơi có "Upload file" và "Add sample data".

2. Ở phần Select the data source, chọn Amazon S3 (đầu danh sách Popular).

3. Tại Setup your ClickPipe connection, đặt name bất kỳ, chọn Authentication method → Public (bucket này là công khai), và dán đoạn sau vào S3 file path:

https://partner-workshop.s3.ap-southeast-1.amazonaws.com/fx/ticks.parquet

Để Continuous ingestion ở trạng thái tắt — đây là một file dùng một lần — rồi click Incoming data →.

4. Ở bước Incoming data, ClickHouse xem trước file khớp — bạn sẽ thấy fx/ticks.parquet với dung lượng 158.43 MB. Xác nhận File type → Parquet, để phần nén ở Detect automatically, rồi click Parse information →.

5. Ở bước Parse information, ClickHouse xem trước một dòng mẫu và tự nhận diện các cột. Trong phần Upload data to, chọn Existing table, chọn Database chứa bảng của bạn (thường là default), và đặt Table → forex. Kiểm tra rằng các field nguồn (datetime, bid, ask, base, quote) khớp với các cột tương ứng — chúng sẽ tự map. Để các field thừa _path / _file / _size không map vào đâu. Rồi click Details and settings →.

Ảnh chụp cho thấy database techthai của người trình bày — hãy dùng database nào đang chứa bảng của bạn.

6. Ở bước Details and settings, để nguyên phần Permissions mặc định (ClickPipes tự tạo một user ghi riêng cho bạn), rồi click Create ClickPipe.

Không cần Spark job, không cần loader tự viết.

7. Bạn được đưa về Data sources, nơi ClickPipe của bạn xuất hiện. Sau vài giây, Status chuyển sang Completed và Records hiển thị 26,488,218 — toàn bộ tick đã được nạp từ object storage.

Kiểm tra xem đã nạp được gì. Chạy câu này trong SQL Console:

-- expect 26,488,218 ticks across 12 pairs
SELECT count() AS ticks, uniqExact(concat(base,'/',quote)) AS pairs FROM forex;

Cách 2 — câu one-liner s3(), nhanh nhất khi demo

Giờ hãy nạp đúng dữ liệu đó bằng một câu lệnh SQL duy nhất, trực tiếp từ file công khai. Trước tiên hãy làm trống bảng để số dòng không bị nhân đôi, rồi insert:

-- clear the rows ClickPipes just loaded so we don't double up
TRUNCATE TABLE forex;

-- load all ~26.5M ticks from the public S3 file in one line (server-side)
INSERT INTO forex
SELECT * FROM s3('https://partner-workshop.s3.ap-southeast-1.amazonaws.com/fx/ticks.parquet', NOSIGN, 'Parquet');

-- and check again (expect 26,488,218)
SELECT count() AS ticks, uniqExact(concat(base,'/',quote)) AS pairs FROM forex;

NOSIGN có nghĩa là "không dùng credential" — chỉ cần vậy là đọc được một bucket công khai. SELECT * hoạt động ngay vì thứ tự cột của bảng khớp với file.

ClickPipes so với hàm s3() — khi nào dùng cái nào

Cùng 26,488,218 dòng, nạp theo hai cách. Khác biệt nằm ở chuyện xảy ra sau lần nạp đầu tiên — bạn muốn một pipeline liên tục được quản lý, hay chỉ một lần đọc nhanh gọn.

Nguyên tắc chung: chọn ClickPipes khi dữ liệu liên tục đổ về và bạn muốn nó được quản lý; chọn s3() khi bạn chỉ cần kéo một file vào ngay lúc này. Hôm nay bạn dùng câu one-liner để truy vấn được thật nhanh — giờ hãy truy vấn nó.