Data Mühəndisi (Kiçik / Aparıcı / Böyük)
İşin təsviri
- Müxtəlif mənbə sistemlərindən məlumat inteqrasiyalarının hazırlanması və idarə olunması
- ETL/ELT proseslərinin hazırlanması, inkişaf etdirilməsi və optimallaşdırılması
- SQL, PL/SQL və Python vasitəsilə məlumat emalı və transformasiyalarının həyata keçirilməsi
- Staging, ODS, DWH və Data Mart arxitekturalarının qurulması və inkişaf etdirilməsi
- Batch və real-time məlumat axınlarının idarə olunmasında iştirak etmək
- Məlumat keyfiyyətinin yoxlanılması, validasiya və təmizlənməsi proseslərinin icra edilməsi
- ETL proseslərinin monitorinqi, performans optimizasiyası və problemlərin araşdırılması
- Source-to-target mapping və digər texniki sənədləşdirmələrin hazırlanması və yenilənməsi
Tələblər
Qeyd: Data Engineering / Data Warehouse (DWH) sahəsində minimum 1-5 il iş təcrübəsi
- Minimum 5 il müvafiq sahə üzrə iş təcrübəsi
- Ali təhsil -İnformasiya Texnologiyaları, Kompüter Elmləri, İnformasiya Sistemləri və ya əlaqəli sahələr üzrə təhsil üstünlükdür
- ETL/ELT prinsipləri və batch data pipeline prosesləri üzrə praktiki təcrübə
- ETL alətləri ilə iş təcrübəsi (Oracle Data Integrator (ODI), Apache NiFi üstünlükdür)
- SQL və PL/SQL üzrə yüksək səviyyədə bilik və performans optimizasiyası təcrübəsi
- Python istifadə edərək məlumatların emalı, transformasiyası və avtomatlaşdırılması təcrübəsi
- Java və ya Scala üzrə bilik üstünlükdür
- Apache Airflow və digər orkestrasiya alətləri ilə iş təcrübəsi üstünlükdür
- Apache Kafka və real-time məlumat axınları üzrə anlayış üstünlükdür
- Məlumatların modelləşdirilməsi üzrə bilik (Konseptual, Məntiqi və Fiziki modellər)
- Data Warehouse (DWH) strukturları və məlumat modelləri ilə iş təcrübəsi
- OLTP və OLAP sistemlərinin prinsiplərini anlamaq
- Böyük həcmli məlumatların emalı texnologiyaları üzrə bilik (Apache Spark üstünlükdür)
- Data platformaları və müasir məlumat arxitekturaları üzrə anlayış üstünlükdür
