Aparıcı data mühəndisi (Lead data engineer)

Maliyyə, Biznes və idarəetmə
Bakı
Bu gün
Tam ştat
Müraciət et

İşin təsviri

  • Bankın Data Warehouse və data platformalarının qurulması, inkişaf etdirilməsi və optimallaşdırılmasında iştirak etmək;
  • Core Banking, CRM, kart sistemləri və digər daxili/xarici mənbələrdən məlumatların DWH-a inteqrasiyasını təmin etmək;
  • Oracle verilənlər bazasından PostgreSQL mühitinə data migration və inteqrasiya proseslərini həyata keçirmək;
  • Apache NiFi, Kafka, Spark və Airflow texnologiyalarından istifadə etməklə ETL/ELT, batch və real-time data pipeline-lar hazırlamaq və idarə etmək;
  • DWH üçün Fact/Dimension, Star Schema və Snowflake Schema prinsiplərinə uyğun data modelləri hazırlamaq;
  • Incremental Load, CDC və SCD Type 1/2 yanaşmalarını tətbiq etmək;
  • Data pipeline-ların monitorinqini həyata keçirmək, yaranmış problemləri araşdırmaq və performans optimizasiyasını təmin etmək;
  • Məlumatların keyfiyyəti, tamlığı və uyğunluğunu təmin edən yoxlama və nəzarət mexanizmlərini qurmaq;
  • Risk, Maliyyə,Retail, AML və digər biznes bölmələrinin ehtiyaclarına uyğun data martların hazırlanmasında iştirak etmək;
  • Data lineage, metadata, data governance və data architecture standartlarının tətbiqində iştirak etmək;
  • Git və CI/CD alətlərindən istifadə etməklə data həllərinin versiyalaşdırılması və deployment proseslərinin avtomatlaşdırılmasını təmin etmək;
  • Data platformasının dayanıqlılığı, miqyaslana bilməsi və informasiya təhlükəsizliyi tələblərinə uyğun fəaliyyətini təmin etmək.

Tələblər

  • Data Engineering və ya Data Warehouse istiqamətində minimum 3 il praktiki iş təcrübəsi;
  • Data Warehouse və data platformalarının qurulması, inkişaf etdirilməsi və optimallaşdırılması üzrə təcrübə;
  • PostgreSQL üzrə dərin bilik və real layihələrdə iş təcrübəsi, Oracle verilənlər bazası ilə işləmə bacarığı;
  • Oracle-dan PostgreSQL-ə data migration və sistemlərarası məlumat inteqrasiyası üzrə praktiki təcrübə;
  • Apache NiFi ilə data ingestion və ETL/ELT pipeline-larının qurulması və idarə olunması təcrübəsi;
  • Apache Kafka ilə data integration, event streaming və real-time məlumat axınlarının qurulması üzrə təcrübə;
  • Apache Spark ilə böyük həcmli məlumatların emalı və transformasiyası üzrə praktiki bilik;
  • Apache Airflow vasitəsilə data pipeline-ların orchestration, scheduling və dependency management proseslərinin idarə olunması təcrübəsi;
  • Batch və real-time data processing prinsipləri, həmçinin Data Warehouse modelləşdirməsi — Fact/Dimension, Star Schema və Snowflake Schema üzrə bilik;
  • Incremental Load, Change Data Capture (CDC), SCD Type 1 və SCD Type 2 yanaşmaları üzrə praktiki bilik;
  • Data pipeline-ların monitorinqi, troubleshooting və performance optimization üzrə bacarıq;
  • Git, CI/CD prinsipləri və Linux/Unix mühitində işləmə təcrübəsi;
  • Data architecture, data integration və distributed data processing prinsipləri üzrə yaxşı anlayış;
  • Data Lake/Lakehouse, Ceph və ya S3-compatible Object Storage, Apache Flink və OpenMetadata kimi texnologiyalarla iş təcrübəsi üstünlükdür;
  • Data quality, data lineage, metadata management və data governance, həmçinin Kafka + NiFi + Spark + Airflow inteqrasiyası üzrə kompleks layihə təcrübəsi üstünlükdür.

Oxşar vakansiyalar