Data Engineer

Job Description

• Bertanggung jawab merancang, membangun, dan memelihara pipeline data yang scalable serta berbagai tools otomasi untuk pengelolaan data perusahaan.
• Bertanggung jawab dalam membuat integrasi data dari berbagai sumber seperti MySQL, PostgreSQL, MongoDB, hingga ClickHouse, serta memastikan proses ETL berjalan efisien baik secara batch maupun incremental.
• Mampu membuat solusi monitoring, validasi data, serta mendukung kebutuhan analitik dan machine learning. Dokumentasi teknis, standar coding, serta kolaborasi aktif dengan tim data analyst, data scientist, dan unit bisnis menjadi bagian penting dalam memastikan kualitas dan keberhasilan implementasi solusi data di perusahaan.

Requirements:

• Advanced Python: Mampu menulis kode Python yang clean, modular, dan mudah diuji, serta memahami OOP, pemrograman fungsional, penanganan error, dan logging.
• Database: Terbiasa menggunakan SQL (join, agregasi, window function) database NoSQL
• ETL Pipeline Development menggunakan Python dan library seperti pandas, SQLAlchemy, atau driver database.
• Data Modeling: Mampu merancang dan mengimplementasikan skema untuk database transaksional maupun analitik.
• Memiliki pengetahuan Docker & CI/CD
• Memiliki pengalaman menggunakan ETL Orchestration (Dagster)
• Dapat mengoperasikan tools: Kafka, RedPanda, atau Debezium untuk menangani aliran data real-time atau perubahan data.
• Terbiasa menggunakan layanan cloud (GCP, AWS, Azure), terutama untuk pengelolaan data dan pipeline.
• Mampu menjalankan dan melakukan troubleshooting aplikasi Python di lingkungan server atau container.
• Pengalaman dengan ClickHouse: penggunaan table engine, partisi data, pengaturan TTL, dan optimasi performa untuk kebutuhan analitik.
• Mampu membangun dan mengintegrasikan API (REST, GraphQL) menggunakan Python untuk pertukaran data antar sistem.
• Keamanan Data: Memahami prinsip-prinsip keamanan data seperti access control, enkripsi, dan best practice perlindungan data sensitif.