Semakin banyak perusahaan yang menyadari pentingnya data dan kemampuannya meningkatkan semua bidang bisnis. Dalam situasi seperti itu, peran data engineer menjadi sangat penting untuk mendukung data scientist dan data analyst menciptakan insight (wawasan) bagi pengambil keputusan dan pembuat kebijakan (stakeholders) di organisasi atau bisnis.
Pada tahun 2020, data engineer masuk dalam daftar sebagai pekerjaan dengan permintaan tertinggi (high demand job) ke 8 di LinkedIn’s emerging job report. Dua peran (karir di ekosistem data) juga masuk dalam daftar: Data Scientist (3) dan Artificial Intelligence Specialist (peringkat 1). Ini bukan kebetulan karena masing-masing karir ini memiliki hubungan yang mendalam satu sama lain.
Apa Itu Data Engineer?
Data Engineer adalah IT Talent yang membuat data pipelines, platform big data serta mengintegrasikan data di dalam database, data warehouse dan data lake. Profesi ini bekerja dengan teknologi on-premises dan cloud untuk menyediakan infrastruktur terbaik bagi solusi data yang andal dan terukur secara efisien dalam jangka panjang (bertahun-tahun).
Jumlah data yang dikerjakan oleh data engineer sangat bervariasi tergantung ukuran organisasi, semakin besar perusahaan maka semakin kompleks arsitektur analitiknya. Sejalan dengan ini, semakin banyak data yang menjadi tanggung jawab data engineer.
Pekerjaan tersebut merupakan gabungan dari teknologi dan analisis bisnis. Dalam hal ini membutuhkan pengetahuan teknis yang luas tentang arsitektur database, proses ETL, database NoSQL, Hadoop, Google BigQuery, dan tools Hadoop lainnya. Secara bersamaan, juga membutuhkan keterampilan komunikasi yang kuat untuk bekerja dengan sisi bisnis dan berkolaborasi dengan berbagai departemen di organisasi.
Bagaimana Data Engineer Membantu Organisasi atau Bisnis?
Data Engineer membantu organisasi menyusun dan mengakses data mereka dengan kecepatan dan skalabilitas yang mereka butuhkan dan menyediakan infrastruktur untuk memungkinkan data scientist dan data analyst memberikan wawasan dan analitik hebat dari data tersebut.
Tanggung jawab utama seorang data engineer adalah memastikan bahwa data sudah tersedia, aman, dan dapat diakses oleh pemangku kepentingan (stakeholder) saat mereka membutuhkannya. Tanggung jawab data engineering dapat dikelompokkan menjadi dua kategori utama:
Struktur dan Manajemen Data
Data Engineer bertanggung jawab untuk implementasi dan memelihara infrastruktur dan arsitektur yang mendasarinya untuk pengumpulan, penyimpanan, dan pemrosesan data. Tanggung jawab mereka meliputi:
- Membangun dan memelihara infrastruktur data untuk ekstraksi, transformasi, dan pemuatan (loading) data yang optimal dari berbagai sumber seperti Amazon Web Services (AWS) dan big data platform Google Cloud.
- Memastikan aksesibilitas data setiap saat dan menerapkan kebijakan data perusahaan sehubungan dengan privasi dan kerahasiaan data.
- Meningkatkan keandalan (reliability), kecepatan, dan kinerja sistem data.
- Mengoptimalkan data warehouses, pipelines, dan reporting system untuk menyelesaikan masalah bisnis.
Analisis dan Wawasan Data
Data Engineer memainkan peran penting dalam membangun platform yang memungkinkan konsumen data (data analyst, business analyst, dll..) menganalisis dan mendapatkan wawasan dari data. Profesional ini bertanggung jawab untuk:
- Membersihkan dan menyusun data dari sumber primer dan sekunder ke dalam format yang dapat dengan mudah digunakan oleh data scientist dan konsumen (end user) data lainnya.
- Men-develop data tools dan API untuk analisis data.
- Menyebarkan (deploy) dan memantau algoritma machine learning dan metode statistik di ekosistem data.
- Berkolaborasi dengan tim teknik, data scientist, dan pemangku kepentingan lainnya untuk memahami bagaimana data dapat dimanfaatkan untuk memenuhi kebutuhan bisnis.
Meskipun setiap organisasi memiliki persyaratan yang sedikit berbeda, daftar pekerjaan data engineer dari website karir perusahaan teknologi seperti Netflix dan Google dan artikel dari website lowongan pekerjaan seperti Indeed dapat memberikan informasi lebih lanjut tentang apa yang biasanya menjadi peran & tanggung jawab data engineer dalam suatu organisasi.
Gaji Data Engineer Di Indonesia
Kami menelusuri dan membandingkan gaji data engineer dari beberapa laporan dan survei oleh platform pencari kerja yang mengumpulkan informasi gaji dari responden yang sedang bekerja maupun yang pernah berkarir sebagai data engineer. Sebagai berikut:
Data Engineer di awal karir (pengalaman 1-4 tahun) digaji rata-rata IDR 9.750.000,- per bulan. Sementara gaji data engineer (pengalaman 5-9 tahun) rata-rata IDR 18.500.000,- per bulan. Gaji tersebut belum termasuk bonus dan manfaat lainnya yang disiapkan oleh employer (perusahaan pemberi kerja).
Gaji data engineer bervariasi tergantung pada jenis industri di mana IT Talent bekerja. Sejalan dengan ini pengalaman kerja dan portofolio data engineer dapat berpengaruh pada jumlah gaji yang mereka terima.
