Baş data mühəndisi (Senior data engineer)

Maliyyə, Biznes və idarəetmə
Bakı
Bu gün
Tam ştat
Müraciət et

İşin təsviri

  • Bankın Data Warehouse və Enterprise Data Platform həllərinin layihələndirilməsi, inkişaf etdirilməsi və optimallaşdırılmasında iştirak etmək;
  • Core Banking, kart sistemləri, CRM, ödəniş platformaları və digər mənbə sistemlərindən məlumatların vahid data platformasına inteqrasiyasını həyata keçirmək;
  • Oracle → PostgreSQL data migration proseslərini planlaşdırmaq və icra etmək, məlumatların tamlığı və düzgünlüyünü təmin etmək;
  • Apache Kafka, Apache NiFi, Apache Spark və Apache Airflow istifadə etməklə production səviyyəli ETL/ELT, batch və streaming data pipeline-ları hazırlamaq, inkişaf etdirmək və idarə etmək;
  • Məlumatların incremental və CDC əsaslı yüklənməsini, həmçinin SCD Type 1/2 mexanizmlərinin tətbiqini təmin etmək;
  • Data Warehouse üçün dimensional modelling, Fact/Dimension və Star Schema əsasında data modellərinin hazırlanmasında iştirak etmək;
  • Böyük həcmli məlumatların emalı üçün scalable, reliable və yüksək performanslı data processing həlləri hazırlamaq;
  • SQL sorğularını və data pipeline-ları analiz etmək, bottleneck-ləri müəyyənləşdirmək və performance tuning həyata keçirmək;
  • Data pipeline-ların monitorinqini, troubleshooting və production support proseslərini həyata keçirmək, yaranan problemlərin səbəbini müəyyənləşdirərək operativ həll etmək;
  • Data quality və validation mexanizmlərinin qurulmasında iştirak etmək və məlumatların tamlığı, dəqiqliyi və consistency-sini təmin etmək;
  • Metadata, data lineage və data governance proseslərinin tətbiqində iştirak etmək;
  • Data Lake/Lakehouse və Object Storage həllərinin mövcud data platforması ilə inteqrasiyasında iştirak etmək;
  • Git və CI/CD yanaşmalarından istifadə etməklə data pipeline və həllərin version control, testing və deployment proseslərini həyata keçirmək;
  • Data platformasının reliability, scalability, maintainability və security göstəricilərinin davamlı təkmilləşdirilməsində iştirak etmək;
  • Risk,Retail, Maliyyə, AML və digər biznes və texniki komandalarla əməkdaşlıq edərək biznes tələblərinə uyğun data həlləri hazırlamaq.

Tələblər

  • Data Engineering və ya Data Warehouse istiqamətində minimum 5 il praktiki iş təcrübəsi;
  • Data Warehouse və data platformalarının layihələndirilməsi, qurulması və inkişaf etdirilməsi üzrə təcrübə;
  • PostgreSQL üzrə dərin bilik və real layihələrdə iş təcrübəsi;
  • Oracle verilənlər bazası ilə işləmə və Oracle-dan PostgreSQL-ə data migration üzrə praktiki təcrübə;
  • SQL üzrə yüksək səviyyədə bilik, mürəkkəb sorğuların hazırlanması və query optimization bacarığı;
  • Apache NiFi ilə production səviyyəli data ingestion və ETL/ELT pipeline-larının hazırlanması və idarə olunması təcrübəsi;
  • Apache Kafka ilə data ingestion, integration, event streaming və real-time məlumat axınlarının qurulması üzrə praktiki təcrübə;
  • Apache Spark ilə böyük həcmli məlumatların emalı, transformasiyası və optimallaşdırılması üzrə təcrübə;
  • Apache Airflow vasitəsilə kompleks ETL/ELT workflow-larının hazırlanması, orchestration və scheduling üzrə praktiki bilik;
  • Batch və streaming data processing prinsipləri, həmçinin Data Warehouse və dimensional modelling yanaşmaları üzrə təcrübə;
  • Incremental Load, Change Data Capture (CDC), SCD Type 1 və SCD Type 2 yanaşmaları üzrə praktiki bilik;
  • Data quality, data validation, metadata və data lineage prinsipləri üzrə yaxşı anlayış;
  • Data pipeline-ların monitorinqi, troubleshooting, performance tuning və optimallaşdırılması üzrə bacarıq;
  • Git və Linux/Unix mühitində praktiki iş təcrübəsi;
  • Data Lake/Lakehouse, Ceph və ya S3-compatible Object Storage, Apache Flink, OpenMetadata, CI/CD, data governance və enterprise data architecture üzrə təcrübə üstünlükdür;
  • Kafka, NiFi, Spark və Airflow texnologiyalarının vahid data platformasında inteqrasiyası üzrə kompleks layihə təcrübəsi üstünlükdür.

Oxşar vakansiyalar