Data Engineer (Data Management Industry)

Sigmatech · Indonesia

Sector
Data & Analytics
Function
Product & Engineering
Level
Mid-Level
Employment type
Contract
Posted
2026-11-20
Source
techinasia

Job Description (Tugas & Tanggung Jawab)

Merancang & Mengembangkan Data Pipeline: Membangun alur ETL/ELT yang andal menggunakan Apache NiFi untuk penjadwalan dan pemrosesan data otomatis dari berbagai sumber. Pengelolaan Analytical Storage: Mengelola dan mengoptimalkan ClickHouse sebagai sistem penyimpanan data analitis berkinerja tinggi. Integrasi Event-Driven Messaging: Mengintegrasikan RabbitMQ untuk mendukung arsitektur pengiriman pesan berorientasi peristiwa (event-driven). Monitoring & Pemeliharaan Sistem: Memantau kesehatan, kinerja, dan kestabilan sistem data secara real-time menggunakan Grafana dan Zabbix. Menyiapkan Fondasi Data: Memastikan data mentah berhasil di-extract, di-transform menjadi bersih/terstruktur, dan siap diolah oleh Data Analyst atau Data Scientist.

Requirement (Kualifikasi & Keahlian)

Bahasa Pemrograman: Menguasai SQL dan Python untuk manipulasi dan pengolahan data. ETL & Data Pipeline: Pengalaman praktis menggunakan Apache NiFi atau alat orchestration setara. Database & Big Data: Terbiasa mengelola basis data analitis (ClickHouse) serta memahami basis data relasional (RDBMS) dan non-relasional (NoSQL). Messaging & Monitoring: Memiliki pemahaman tentang message broker (RabbitMQ) serta alat pemantauan sistem (Grafana & Zabbix). Cloud & Platform: Familiar dengan platform basis cloud (AWS / GCP / Azure) dan ekosistem Big Data (seperti Spark / Hadoop).

Apply on techinasia →
Data & Analytics Clean Technology IT Python Grafana SQL Apache RabbitMQ Product & Engineering