Verilənlər bazası üzrə mühəndis (Data Engineer)

İşin təsviri

Vəzifə təsviri

· Müxtəlif mənbələrdən məlumatların toplanması, transformasiyası və yüklənməsi üçün ETL/ELT pipeline-larını dizayn etmək, inkişaf etdirmək və optimallaşdırmaq;

· Batch və streaming məlumat axınlarının idarə olunması və performansının artırılması;

· Kafka, Debezium, NiFi, Apache Spark, Airflow, PostgreSQL və MinIO kimi texnologiyalar əsasında məlumat infrastrukturunun qurulması və saxlanması;

· Məlumat keyfiyyətinin təmin edilməsi üçün data validation, integrity checks və monitoring mexanizmlərinin tətbiqi;

· Data warehouse və data lake arxitekturalarının qurulmasında iştirak etmək;

· Məlumat pipeline-larında problemlərin aşkar olunması və aradan qaldırılması (troubleshooting, debugging);

· SQL və Python vasitəsilə məlumatların təmizlənməsi, transformasiyası və analiz edilməsi;

· Data orchestration workflow-larının qurulması və idarə olunması (Airflow, Prefect və ya Dagster);

· Müxtəlif sistemlər arasında data inteqrasiyası və data migration proseslərinin həyata keçirilməsi;

· Məlumat infrastrukturu və pipeline-ların monitorinqi və optimallaşdırılması.

Tələblər

Tələblər

· Müvafiq sahədə minimum 3 il iş təcrübəsi;

· ETL/ELT pipeline-larının inkişafı və optimallaşdırılması üzrə praktiki təcrübə;

· Böyük həcmli məlumatlarla işləmək üçün SQL üzrə yüksək səviyyəli bilik və query optimizasiya bacarıqları;

· Python proqramlaşdırma dilində təcrübə (data processing, API inteqrasiyası və ETL inkişafı);

· Streaming və data processing texnologiyaları ilə təcrübə: (Apache Kafka, Apache Spark, Apache NiFi, Apache Airflow)

· Relational və ya analytical verilənlər bazaları ilə təcrübə (PostgreSQL və s.);

· Git (GitLab) ilə versiya idarəetməsi və CI/CD prosesləri barədə bilik.

Üstünlük hesab olunur

· Data lake və ya lakehouse arxitekturası ilə işləmə təcrübəsi;

· Partitioning strategiyaları və metadata idarəçiliyi üzrə bilik;

· Paylanmış sistemlər və böyük həcmli məlumat infrastrukturlarının idarə olunması təcrübəsi.