06 AI SRE

Điểm khởi đầu

Bạn đang ở build-workshop-v1 — không cần checkout. Hãy dự trù khoảng 15 phút.

Yêu cầu tiên quyết: telemetry đang chảy vào ClickStack (module 05), coding agent của bạn hoạt động với hỗ trợ MCP (module 00).

Vì sao

Agent của bạn vốn đã giỏi viết SQL. Hãy đưa cho nó dữ liệu quan sát của bạn và các công cụ phù hợp, và nó có thể làm công việc SRE: dựng một dashboard làm lộ ra sức khỏe của ứng dụng và một cảnh báo kích hoạt khi có gì đó sai. Module này đấu nối agent với ClickStack và cho nó vào việc.

Mục tiêu

Bộ sinh dashboard của HyperDX đã lưu một dashboard SRE, và coding agent của bạn, kết nối qua ClickStack MCP, đã lưu ít nhất một cảnh báo trên telemetry của bạn.

Bước 1 — Kiểm chứng kết nối ClickStack của coding agent

Đừng thêm một MCP server khác ở đây. Hãy dùng kết nối clickstack đã được cấu hình và cấp quyền ở Module 00. Hãy yêu cầu một phép kiểm tra sức khỏe vận dụng các tool của nó từ đầu đến cuối:

Using the clickstack MCP, check the health of the nyc-taxi-backend service over the last 24h — request volume, error rate, and latency — and tell me if anything looks off.

Kết quả mong đợi: một bản tóm tắt có căn cứ với lượng request, tỉ lệ lỗi, độ trễ, và hoạt động cuối cùng. Nếu tool hỏi về một service, hãy chọn service ClickHouse dùng cho workshop này.

Bước 2 — Dùng bộ sinh dashboard của HyperDX

Bộ sinh dashboard tích hợp trong HyperDX có thể dựng một dashboard từ một mô tả bằng ngôn ngữ thường ngày. Đây không phải là coding agent của bạn. Trong ClickStack, hãy mở Dashboards ở sidebar bên trái và nhấn Generate with AI. Hãy mô tả những gì bạn muốn — bộ sinh sẽ nội soi telemetry của bạn trước rồi dựng các tile từ những gì nó thực sự tìm thấy (nếu dữ liệu thiếu thứ bạn yêu cầu, nó sẽ nói cho bạn biết thay vì bịa ra các tile chung chung):

explore the app's traces and logs, then build and save an SRE dashboard showing request rate, error rate, and p95 latency per service

Dashboards → Generate with AI: hãy mô tả dashboard và để HyperDX nội soi dữ liệu rồi dựng nó.

AI làm việc xuyên qua telemetry của bạn — lấy mẫu log và trace, kiểm tra các span lỗi, rồi lắp ghép và kiểm chứng từng tile — và tóm tắt những gì nó đã dựng, kèm một link để mở dashboard đã lưu:

Bộ sinh đặt mọi tile trên dữ liệu thật và giải thích những gì nó tìm thấy trước khi lưu.

Hãy mở dashboard đã lưu để xem kết quả: tốc độ request, tỉ lệ lỗi, và độ trễ p95 theo từng service, cùng với tổng số request/lỗi, p95 tổng thể, một tile cảnh báo log, và một bảng top endpoint — tất cả đều đọc trực tiếp từ service nyc-taxi-backend.

Dashboard SRE đã hoàn thiện, được lưu dưới Dashboards và có dữ liệu từ telemetry trực tiếp.

Bước 3 — Để coding agent của bạn thêm một cảnh báo

Coding agent của bạn có thể lưu một cảnh báo, nhưng nó không thể tạo kênh thông báo mà cảnh báo gửi tới — không có tool MCP nào cho việc đó. Hãy tạo trước một webhook trong UI của HyperDX:

1. Hãy mở một trong các biểu đồ trên dashboard của bạn — tile tỉ lệ lỗi là lựa chọn tốt — và nhấn nút Alert của nó (biểu tượng chuông trên tile).
2. Trong phần thiết lập thông báo của cảnh báo, hãy chọn Generic Webhook làm kênh.
3. Bạn cần một URL để trỏ tới. Để có một endpoint dùng tạm không cần thiết lập gì, hãy mở webhook.site ở một tab khác; nó cấp cho bạn một URL duy nhất và hiển thị mọi request nó nhận được theo thời gian thực. Hãy copy URL đó và dán vào làm webhook URL.
4. Lưu lại. Kênh giờ đã tồn tại, nên cảnh báo do agent lưu có thể nhắm vào nó — và khi cảnh báo kích hoạt bạn có thể xem payload đến trực tiếp trên trang webhook.site của bạn.

Hãy quay lại coding agent của bạn và dán prompt này:

Using the clickstack MCP, inspect the nyc-taxi-backend error-rate baseline, choose and
justify a threshold above that baseline, then use clickstack_save_alert to save an alert
named "NYC taxi backend error rate". Evaluate the error rate over a five-minute window
and target the existing Generic Webhook notification channel. Report the saved alert's
name, source, time window, threshold, and notification channel.

Kết quả mong đợi: coding agent báo cáo cả năm field đã lưu. Hãy mở Alerts trong HyperDX và xác nhận chúng khớp. Nếu tool MCP không chọn được kênh đã tồn tại, hãy gắn nó vào cảnh báo đã lưu trong HyperDX và lưu thêm một lần nữa.

Bước 4 (tùy chọn) — AI Notebooks: điều tra ngay trong HyperDX

Lộ trình coding-agent-cộng-MCP ở trên hoạt động từ editor của bạn. ClickStack cũng có một bề mặt điều tra bằng AI tích hợp trong sản phẩm: AI Notebooks (beta, chỉ có ở Managed ClickStack).

1. Một admin của team bật nó một lần: HyperDX - Team Settings -> Security Policies -> bật Generative AI. Sau đó một mục Notebooks sẽ xuất hiện ở sidebar bên trái.
2. Hãy mở một notebook mới và hỏi bằng ngôn ngữ thường ngày, ví dụ: "What are the slowest backend operations in the last 30 minutes, and did any of them error?"
3. Agent truy vấn log, trace, và metric của bạn rồi phát ra các tile tương tác — phần lập luận của nó, các truy vấn nó đã chạy, các biểu đồ, và các bản tóm tắt. Bạn có thể tách nhánh một cuộc điều tra từ bất kỳ tile trung gian nào, và trộn thêm các tile tìm kiếm thủ công, timeseries, bảng, hay markdown bên cạnh các tile do AI tạo.

Cùng một telemetry, hai bề mặt AI: lộ trình MCP dựng các artifact bền vững (dashboard, cảnh báo) từ editor của bạn; Notebooks dành cho việc điều tra tương tác ngay trong sản phẩm quan sát. Ở module 07, bạn có thể chẩn đoán lỗi bằng bất kỳ cách nào trong hai cách đó.

Cách kiểm chứng bạn đã hoàn thành

• Một dashboard SRE đã lưu xuất hiện trong HyperDX với các tín hiệu sức khỏe có dữ liệu.
• Một cảnh báo đã lưu tồn tại với một ngưỡng hợp lý.
• Bạn có thể diễn đạt được dashboard sẽ trông thế nào trong lúc có sự cố.
• Tùy chọn: một Notebook tồn tại với một cuộc điều tra bằng ngôn ngữ thường ngày và các tile của nó.

Tổng kết

Giờ bạn đã có hai bề mặt AI rõ rệt: bộ sinh của HyperDX dựng dashboard ngay trong sản phẩm, còn coding agent của bạn dùng MCP để truy vấn telemetry và lưu cảnh báo. Đó chính là những gì bạn sẽ dựa vào khi có thứ gì đó hỏng.

Trạng thái kết thúc

Một dashboard SRE và cảnh báo do AI dựng đã sẵn sàng. Tiếp tục tới 07 Kiểm thử, lỗi, và sửa với agent trong editor mà bạn đã cấu hình ở đây.