Hiện tại, cách duy nhất để tạo Data Pipeline là cài đặt Report Template có kèm pipeline dựng sẵn. Hướng dẫn này giúp bạn cài đặt template, kết nối nguồn dữ liệu, và chạy pipeline lần đầu tiên.
Bạn có sẵn thông tin kết nối database (host, port, tên database, tên đăng nhập, mật khẩu).
Các bước thực hiện
1
Mở template và cấu hình pipeline
Nhấn Template Marketplace trên thanh điều hướng bên trái.
Xem qua các thẻ template và nhấn vào template bạn muốn cài đặt.
Nhấn Create Report. Hộp thoại cài đặt mở ra.
Điền các trường trong hộp thoại:
Trường
Mô tả
Report Name
Tên cho report sẽ được tạo. Được điền sẵn theo tên template.
Your ERP/Accounting Software
Loại hệ thống nguồn (ví dụ: Fast Accounting).
Data for the Report
Chọn Use Your Own Data để kết nối với database thực tế của bạn, hoặc Use Sample Data để khám phá trước với dữ liệu mẫu.
How to provide data
Phương thức kết nối (ví dụ: On-premise Database).
Table Prefix
Tiền tố thêm vào tên các bảng thô tạo ra trong Data Warehouse, giúp phân biệt với các bảng khác.
Data Refresh (ETL) Schedule
Tần suất chạy pipeline (ví dụ: Every 12 hours).
Chọn Use Your Own Data, sau đó nhấn Setup Pipeline.
Data Suite tạo pipeline và chuyển bạn đến trang cài đặt lần đầu.
2
Cài đặt data agent
Trang cài đặt lần đầu có hai vùng:
Vùng
Mô tả
Bảng dữ liệu thô (bên trái)
Liệt kê các bảng thu thập thô của pipeline. Hiển thị tên bảng, số hàng, và thời điểm cập nhật gần nhất. Dữ liệu sẽ xuất hiện khi agent đang chạy. Nút Run Pipeline & Create Report sẽ kích hoạt khi bảng có dữ liệu.
Hướng dẫn cài đặt (bên phải)
Hướng dẫn từng bước để tải và chạy data agent (Logstash). Có nút Download Agent Config & Certs để tải file cấu hình đã được thiết lập sẵn cho pipeline này.
Thực hiện theo Hướng dẫn cài đặt ở vùng bên phải:
Nhấn Download Agent Config & Certs và giải nén file ds-data-agent-config.zip vừa tải về.
Clone repository của agent (hoặc tải source code dạng zip từ đường dẫn được cung cấp).
Sao chép thư mục ./ssl và file vendor-config.env vào thư mục đã clone.
Đổi tên agent.env.example thành agent.env và điền thông tin kết nối database của bạn.
Mở terminal tại thư mục đó và chạy:
dockercomposeup-d
Theo dõi danh sách bảng dữ liệu thô bên trái. Khi dữ liệu xuất hiện, agent đang thu thập dữ liệu từ database của bạn.
3
Chạy pipeline và tạo report
Khi các bảng dữ liệu thô đã có dữ liệu, nút Run Pipeline & Create Report sẽ kích hoạt. Nhấn vào đó.
Data Suite tự động thực hiện ba bước và hiển thị hộp thoại tiến trình:
Bước
Nội dung
Bước 1 — Running Pipeline
Chạy quy trình ETL: làm sạch và nạp dữ liệu thô vào Data Warehouse.
Bước 2 — Create Data Model
Xây dựng Data Model ngữ nghĩa từ dữ liệu đã nạp.
Bước 3 — Create Report
Tạo report được liên kết với Data Model mới.
Khi cả ba bước hiển thị Done, nhấn View Report để mở report mới của bạn.
