KHO DỮ LIỆU DATA WAREHOUSE

TAI SAO DATA WAREHOUSE LẠI CẦN THIẾT

Quản trị điều hành ngày càng dựa trên phân tích dữ liệu.

Khi chuyển đổi số một thời gian, đủ tích lũy dữ liệu -> Cần khai thác dữ liệu. Dữ liệu có đủ nhưng mỗi lần cần 1 báo cáo mất cả tuần.

Số lượng người dùng vẫn thế nhưng khi chạy report phức tạp hệ thống quá tải

Các hệ thống báo cáo tổng hợp nhiều chiều không làm được, hoặc không chính xác.

DỮ LIỆU VÀ THÔNG TIN

DỮ LIỆU VÀ THÔNG TIN

OLTP VÀ OLAP

SO SÁNH DATA BASE VÀ DATA WAREHOUSE

Tham số Database Data warehouse
Mục đích Được thiết kế để lưu lại bản ghi Được thiết kế để phân tích
Xử lý Online Transactional Processing (OLTP) Online Analytical Processing (OLAP)
Chuẩn hóa Chuẩn hóa không được chuẩn hóa
Định hướng phục vụ định hướng cho ứng dụng, sản phẩm cho các loại mục đích khai thác dữ liệu nhau
giới hạn lưu trữ thường giới hạn trong 1 ứng dụng lưu trữ dữ liệu từ nhiều nguồn khác nhau
độ khả dụng dữ liệu có sẵn từ thời gian thực, cần là có được làm mới khi cần thiết từ nhiều nguồn khác nhau, cần thì phải đợi hệ thống chạy tạo lại dữ liệu định kì cần thiết
Kỹ thuật Capture dữ liệu Analyze dữ liệu
Loại dữ liệu Dữ liệu được lưu trữ trong Cơ sở dữ liệu được cập nhật. Dữ liệu hiện tại và lịch sử được lưu trữ. Có thể không được cập nhật.
Lưu trữ dữ liệu Phương pháp tiếp cận quan hệ phẳng được sử dụng để lưu trữ dữ liệu. Sử dụng phương pháp tiếp cận đa chiều và chuẩn hóa cho cấu trúc dữ liệu. Ví dụ: Lược đồ sao và bông tuyết.
Loại truy vấn Các truy vấn giao dịch đơn giản được sử dụng. Các truy vấn phức tạp được sử dụng cho mục đích phân tích.
Tóm tắt dữ liệu Lưu dữ liệu chi tiết Lưu trữ dữ liệu tóm tắt

TRIỂN KHAI DATA WAREHOUSE

Các bảng dimension được sử dụng để mô tả dữ liệu mà chúng ta muốn lưu trữ. Ví dụ: một nhà bán lẻ muốn lưu trữ thời gian, cửa hàng, và nhân viên tham gia vào một hoá đơn. Mỗi một bảng dimension là một danh mục của chính nó (ngày tháng, nhân viên, cửa hàng) và có thể có một hoặc nhiều thuộc tính (attributes). Với mỗi một cửa hàng, chúng ta lưu chúng các thông tin như vị trí trong thành phố, vùng miền, tỉnh thành và quốc gia. Mỗi một ngày tháng chúng ta lưu năm, tháng, ngày trong tháng, ngày trong tuần…Điều này liên quan đến sự phân cấp của các thuộc tính trong bảng dimension.

Bảng Fact chứa dữ liệu mà chúng ta muốn thêm vào reports, tổng hợp trên các giá trị trong các bảng dimension. Một bảng fact chỉ có các cột lưu giá trị và các cột khóa ngoại tham chiếu đến bảng dimensions. Kết hợp tất cả các khóa ngoại và khoá chính trong bảng fact. Ví dụ, một bảng fact có thể lưu trữ một số lượng các hợp đồng và số lượng các nhân viên bán hàng từ các danh sách hợp đồng.

MÔ HÌNH NGÔI SAO

MÔ HÌNH THIÊN HÀ (BÔNG TUYẾT)

KIẾN TRÚC DỮ LIỆU TỔNG THỂ

MÔ HÌNH TIẾN TRÌNH XỬ LÝ THÔNG TIN

MÔ HÌNH TIẾN TRÌNH XỬ LÝ THÔNG TIN

DANH MỤC CÔNG NGHỆ

Công nghệ ETL(Extract-Transfer-Load) Loại Công nghệ BI Loại
Pentaho Kettle Open source Power bi
Talend Open source Tableau Public
Jaspersoft-etl Open source RapidMiner
Inaplex Inaport Close source Python, Excel
SQL Server Integration Service Close source Kinme

CÁC CÔNG CỤ ETL

CÁC GÓC NHÌN VỀ PHÂN TÍCH DỮ LIỆU

CÁC GIẢI THUẬT/MODEL

QUY TRÌNH PHÂN TÍCH DỮ LIỆU

Đăng ký tư vấn và xây dựng Data Warehouse trong doanh nghiệp? Chi phí cho tư vấn và xây dựng Data Warehouse trong doanh nghiệp của Corp360 là bao nhiêu?

  • Đối với bộ phận nhân sự nhiều kinh nghiệm xây dựng Data Warehouse chúng tôi tự tin trong việc đồng hành cùng quý khách hàng trong việc xây dựng Data Warehouse với tiêu chí chất lượng, hiệu quả
  • Liên hệ với chúng tôi qua các kênh kết nối hoặc hotline để được tư vấn, hỗ trợ đăng ký sử dụng hệ thông
  • Điền các thông tin đăng ký TẠI ĐÂY, chúng tôi sẽ có đội ngũ chăm sóc chủ động liên hệ giúp bạn đăng ký dịch vụ tư vấn và xây dựng với thời gian nhanh nhất.