Data Engineer (Data Management Industry)
Sigmatech · Indonesia
Job Description (Tugas & Tanggung Jawab)
Merancang & Mengembangkan Data Pipeline: Membangun alur ETL/ELT yang andal menggunakan Apache NiFi untuk penjadwalan dan pemrosesan data otomatis dari berbagai sumber. Pengelolaan Analytical Storage: Mengelola dan mengoptimalkan ClickHouse sebagai sistem penyimpanan data analitis berkinerja tinggi. Integrasi Event-Driven Messaging: Mengintegrasikan RabbitMQ untuk mendukung arsitektur pengiriman pesan berorientasi peristiwa (event-driven). Monitoring & Pemeliharaan Sistem: Memantau kesehatan, kinerja, dan kestabilan sistem data secara real-time menggunakan Grafana dan Zabbix. Menyiapkan Fondasi Data: Memastikan data mentah berhasil di-extract, di-transform menjadi bersih/terstruktur, dan siap diolah oleh Data Analyst atau Data Scientist.
Requirement (Kualifikasi & Keahlian)
Bahasa Pemrograman: Menguasai SQL dan Python untuk manipulasi dan pengolahan data. ETL & Data Pipeline: Pengalaman praktis menggunakan Apache NiFi atau alat orchestration setara. Database & Big Data: Terbiasa mengelola basis data analitis (ClickHouse) serta memahami basis data relasional (RDBMS) dan non-relasional (NoSQL). Messaging & Monitoring: Memiliki pemahaman tentang message broker (RabbitMQ) serta alat pemantauan sistem (Grafana & Zabbix). Cloud & Platform: Familiar dengan platform basis cloud (AWS / GCP / Azure) dan ekosistem Big Data (seperti Spark / Hadoop).