Data Engineer

Sebagai Data Engineer, Anda akan bertanggung jawab untuk merancang, membangun, dan memelihara infrastruktur data yang terukur dan efisien. Fokus utama dari peran ini adalah mengeksekusi inisiatif migrasi data, mengelola integrasi data pipeline dari berbagai sumber menuju data warehouse terpusat menggunakan ekosistem Google Cloud Platform (GCP), serta mengorkestrasikan seluruh alur kerja tersebut menggunakan Apache Airflow. Kandidat yang ideal tidak hanya kuat secara teknis, tetapi juga memiliki insting analitis untuk memahami konteks dan kualitas data yang diproses.

Tanggung Jawab Utama

Eksekusi Migrasi Data: Merencanakan, memimpin, dan melaksanakan proyek migrasi data dari sistem legacy (seperti on-premise database, cloud provider lain, atau aplikasi third-party) ke dalam Google Cloud Platform secara aman, efisien, dan dengan downtime minimal. Pemahaman & Kualitas Data (Data Profiling): Bertanggung jawab atas kualitas, kelengkapan, dan konsistensi data. Melakukan audit dan rekonsiliasi data untuk memastikan data yang dipindahkan atau diproses akurat dan relevan dengan kebutuhan bisnis. Desain & Pengembangan Pipeline: Merancang dan memelihara data pipeline (ETL/ELT) untuk memproses data bervolume besar, mencakup ekstraksi data historis (batch/bulk load) maupun sinkronisasi data secara inkremental. Orkestrasi dengan Airflow: Mengembangkan dan mengelola Directed Acyclic Graphs (DAGs) di dalam Apache Airflow untuk penjadwalan otomatis, manajemen dependensi, dan penanganan error pada proses migrasi dan integrasi data harian. Pengelolaan Arsitektur GCP: Mengimplementasikan solusi penyimpanan dan pemrosesan data menggunakan layanan inti GCP, seperti BigQuery, Cloud Storage (GCS), dan Cloud Dataflow/Dataproc. Pemodelan Data: Mendesain skema data warehouse di BigQuery (seperti Star Schema) yang mengakomodasi struktur data baru hasil migrasi agar siap digunakan oleh Data Analyst dan Data Scientist.

Kualifikasi Wajib

Pengalaman Kerja: Minimal 3-5 tahun pengalaman sebagai Data Engineer, dengan portofolio yang terbukti dalam menangani setidaknya satu proyek migrasi data berskala menengah hingga besar. Keahlian Migrasi Data: Paham secara mendalam mengenai strategi migrasi data, termasuk Change Data Capture (CDC), data mapping, transformasi tipe data antar sistem, dan proses validasi (rekonsiliasi) pasca-migrasi. Literasi Data (Data Understanding): Memiliki insting analitis yang kuat; tidak hanya mampu memindahkan data dari titik A ke titik B, tetapi memahami relasi data, mengidentifikasi anomali/data kotor, dan mengerti bagaimana bisnis memanfaatkan data tersebut. Google Cloud Platform (GCP): Keahlian praktis dalam menggunakan layanan data GCP, terutama BigQuery (sintaks, partisi, clustering, optimalisasi biaya) dan Cloud Storage. Apache Airflow: Pengalaman mendalam dalam menulis script DAG berbasis Python, mendesain custom operators, dan melakukan troubleshooting aliran data di Airflow atau Cloud Composer. Kemahiran Pemrograman: Sangat menguasai SQL untuk manipulasi dan analisis data tingkat lanjut, serta Python untuk otomatisasi pipeline dan pemrosesan data.