Chuyên viên/Chuyên viên CC DE

Xây dựng và vận hành hệ thống Data Warehouse (DWH)

• Thiết kế, phát triển và vận hành hệ thống DWH phục vụ lưu trữ và quản trị dữ liệu tập trung.
• Thiết kế mô hình dữ liệu và Data Mart phục vụ khai thác dữ liệu cho các hệ thống downstream.
• Xây dựng kiến trúc dữ liệu đảm bảo khả năng mở rộng, ổn định và hiệu năng cao.

Phát triển pipeline dữ liệu

• Xây dựng và vận hành các pipeline ETL/ELT lấy dữ liệu từ nhiều nguồn:
  • RDBMS (Oracle, PostgreSQL, MSSQL, MySQL…)
  • MongoDB
  • API
  • File batch
  • Streaming source
• Thiết kế cơ chế đồng bộ dữ liệu batch, incremental hoặc near realtime.
• Xây dựng cơ chế CDC và đồng bộ dữ liệu giữa hệ thống nguồn và DWH.
• Tự động hóa quy trình xử lý và đồng bộ dữ liệu.

Làm sạch và chuẩn hóa dữ liệu

• Thực hiện cleansing, transform và chuẩn hóa dữ liệu từ nhiều nguồn khác nhau.
• Mapping dữ liệu giữa hệ thống transactional và DWH.
• Xử lý dữ liệu lỗi, trùng lặp, thiếu dữ liệu hoặc không đồng nhất.
• Xây dựng các rule kiểm tra chất lượng dữ liệu (Data Quality).

Tổng hợp dữ liệu

• Xây dựng các bảng aggregate/fact phục vụ khai thác dữ liệu.
• Thiết kế và tối ưu logic xử lý dữ liệu khối lượng lớn.
• Tối ưu hiệu năng query, partitioning và indexing.

Vận hành & tối ưu hệ thống

• Monitoring và xử lý lỗi pipeline/ETL job.
• Phân tích và xử lý sự cố liên quan đến dữ liệu.
• Thực hiện reconciliation giữa dữ liệu nguồn và DWH.
• Đảm bảo SLA và tính ổn định của hệ thống dữ liệu.

Kiến thức & kinh nghiệm

• Tốt nghiệp Đại học chuyên ngành CNTT hoặc tương đương.
• Có kinh nghiệm làm việc với hệ thống DWH, ETL/ELT hoặc Data Pipeline.
• Hiểu về kiến trúc:
  • Data Warehouse
  • Data Mart
  • ETL/ELT
  • CDC
• Có kinh nghiệm xử lý dữ liệu lớn là lợi thế.

Kỹ năng kỹ thuật

• Thành thạo SQL và tối ưu truy vấn.
• Có kinh nghiệm với:
  • Oracle
  • PostgreSQL
  • MSSQL
  • MySQL
  • MongoDB
• Hiểu đặc điểm dữ liệu relational và document-based database.
• Có kinh nghiệm với các công cụ ETL/workflow:
  • Airflow
  • Talend
  • Pentaho
  • NiFi
  • dbt
• Có khả năng lập trình:
  • Python
  • Java
• Hiểu về Kafka hoặc streaming data là lợi thế.

Ưu tiên

• Có kinh nghiệm vận hành hệ thống dữ liệu lớn hoặc realtime.
• Có kiến thức về Linux, Docker, Kubernetes là lợi thế.
• Có kinh nghiệm tối ưu hiệu năng hệ thống dữ liệu.

Kỹ năng mềm

• Tư duy logic và phân tích dữ liệu tốt.
• Chủ động và có trách nhiệm trong công việc.
• Có khả năng làm việc nhóm và phối hợp liên phòng ban.
• Kỹ năng xử lý vấn đề và troubleshooting tốt.

Công nghệ sử dụng

• Oracle / PostgreSQL / MSSQL / MongoDB
• Airflow / Kafka
• Python / Java
• Linux
• Docker / Kubernetes
• GitLab CI/CD