MÔ TẢ CÔNG VIỆC
Xây dựng và vận hành nền tảng dữ liệu của công ty - bao gồm hạ tầng lưu trữ, các luồng xử lý dữ liệu và bộ công cụ phục vụ nhu cầu khai thác và quản trị dữ liệu trong toàn tổ chức.
1. Xây dựng nền tảng và công cụ dữ liệu
- Phát triển và duy trì nền tảng dữ liệu ở các tầng lưu trữ, xử lý và phục vụ dữ liệu (serving), đảm bảo đáp ứng nhu cầu của các nhóm khai thác dữ liệu trong công ty.
- Xây dựng và tích hợp các công cụ ETL/ELT, phân tích và quản lý metadata, tạo bộ công cụ chuẩn hóa dùng chung cho các nhóm làm việc với dữ liệu.
- Quản lý và triển khai hạ tầng nền tảng bằng mã (Infrastructure as Code) và xây dựng quy trình CI/CD, đảm bảo cấu hình nhất quán, dễ tái lập và triển khai an toàn.
- Hướng dẫn người dùng cuối sử dụng các công cụ dữ liệu trong công việc hằng ngày.
2. Xây dựng các luồng dữ liệu (batch/streaming)
- Xây dựng và vận hành các pipeline đưa dữ liệu từ các nguồn nghiệp vụ vào hệ thống, theo cả cơ chế batch và streaming.
- Tổ chức và mô hình hóa dữ liệu thành các tầng hợp lý (thô, làm sạch, phục vụ khai thác) để dữ liệu nhất quán, dễ tra cứu và tái sử dụng.
- Xây dựng và duy trì các tập dữ liệu phục vụ phân tích, cung cấp cho các nhóm phân tích dữ liệu (Data Analyst) và Data Scientist khai thác.
- Cung cấp dữ liệu cho các hệ thống nghiệp vụ khác có nhu cầu sử dụng, thông qua các cơ chế tích hợp phù hợp.
- Thiết lập lịch chạy và tự động hóa để dữ liệu luôn sẵn sàng đúng thời điểm, giảm thao tác thủ công.
3. Quản trị, chất lượng và bảo mật dữ liệu
- Quản lý metadata và lineage để dữ liệu trong hệ thống rõ ràng về nguồn gốc, ý nghĩa và cách sử dụng.
- Xây dựng các kiểm thử dữ liệu tự động, giám sát chất lượng và xử lý các trường hợp dữ liệu sai lệch hoặc thiếu hụt.
- Thực hiện phân quyền và kiểm soát truy cập dữ liệu theo đúng các yêu cầu bảo mật và tuân thủ của công ty.
4. Vận hành và giám sát
- Xây dựng và duy trì hệ thống giám sát, cảnh báo (monitoring/alerting) cho nền tảng và các luồng dữ liệu, phát hiện sớm và xử lý sự cố.
- Phân tích và tối ưu hiệu năng hệ thống để các tác vụ xử lý dữ liệu chạy ổn định và tiết kiệm tài nguyên.
5. Cộng tác và cải tiến
- Phối hợp với các nhóm nghiệp vụ, kỹ thuật và các bộ phận vận hành hệ thống nguồn để thống nhất yêu cầu và triển khai giải pháp dữ liệu.
- Viết và duy trì tài liệu kỹ thuật cho hệ thống và các luồng dữ liệu.
- Đảm bảo chất lượng mã nguồn thông qua review và tuân thủ các quy chuẩn chung của nhóm.
- Đánh giá công nghệ đang dùng, thử nghiệm công nghệ và giải pháp mới, đề xuất các cải tiến cho hệ thống.







