Məzmuna keçin
Azərbaycan Yerüstü Nəqliyyat Agentliyi yerləşdirilib

Məlumat mühəndisi (Data engineer)

Şəhər
Bakı
İş növü
Tam iş günü

Vakansiya haqqında

Müxtəlif mənbələrdən məlumatların toplanması, transformasiyası və yüklənməsi üçün ETL/ELT pipeline-larının dizayn edilməsi, hazırlanması və optimallaşdırılması;

Batch və streaming məlumat axınlarının idarə olunması və performansının artırılması;

Kafka, Debezium, NiFi, Apache Spark, Airflow, PostgreSQL və MinIO kimi texnologiyalar əsasında məlumat infrastrukturunun qurulması və dəstəklənməsi;

Məlumat keyfiyyətinin təmin edilməsi üçün data validation, integrity checks və monitorinq mexanizmlərinin tətbiqi;

Data warehouse və data lake arxitekturalarının qurulmasında iştirak;

Məlumat pipeline-larında yaranan problemlərin aşkar olunması və aradan qaldırılması (troubleshooting, debugging);

SQL və Python vasitəsilə məlumatların təmizlənməsi, transformasiyası və analiz edilməsi;

Data orchestration workflow-larının qurulması və idarə olunması (Airflow, Prefect və ya Dagster);

Müxtəlif sistemlər arasında data inteqrasiyası və data miqrasiya proseslərinin həyata keçirilməsi;

Məlumat infrastrukturu və pipeline-ların monitorinqi və optimallaşdırılması.

Tələblər

  • İnformasiya texnologiyaları, kompüter elmləri, tətbiqi riyaziyyat və ya digər müvafiq sahələr üzrə ali təhsil
  • Müvafiq sahədə minimum 3 il iş təcrübəsi
  • ETL/ELT pipeline-larının hazırlanması və optimallaşdırılması üzrə praktiki təcrübə
  • Böyükhəcmli məlumatlarla işləmək üçün SQL üzrə yüksəksəviyyəli bilik və sorğuların (query) optimallaşdırılması bacarıqları
  • Python proqramlaşdırma dilində təcrübə (data processing, API inteqrasiyası və ETL hazırlanması)
  • Streaming və data processing texnologiyaları ilə iş təcrübəsi: Apache Kafka, Apache Spark, Apache NiFi, Apache Airflow
  • Relyasiyalı (relational) və ya analitik verilənlər bazaları ilə iş təcrübəsi (PostgreSQL və s.)
  • Git (GitLab) ilə versiya idarəetməsi və CI/CD prosesləri barədə biliklər

Üstünlük hesab olunur

  • Data lake və ya lakehouse arxitekturası ilə iş təcrübəsi (üstünlükdür)
  • Partitioning strategiyaları və metadata idarəçiliyi üzrə biliklər (üstünlükdür)
  • Paylanmış sistemlər və böyükhəcmli məlumat infrastrukturlarının idarə olunması təcrübəsi (üstünlükdür)

Oxşar elanlar

Bütün Bakı vakansiyaları →