Görəcəyiniz işlər:
- Böyük həcmli məlumatların emalı üçün etibarlı proseslərinin hazırlanması və idarə edilməsi;
- Batch və streaming rejimlərində məlumat emalı proseslərinin qurulması;
- Data Lake, Data Warehouse və Lakehouse arxitekturalarının tətbiqi və inkişaf etdirilməsi;
- Real-time məlumatların CDC mexanizmləri ilə platformaya inteqrasiyası;
- Məlumat platformasında performans, etibarlılıq və təhlükəsizlik tələblərinə uyğun texniki həllərin hazırlanması;
- Cross-functional komandalar üçün texniki dəstəyin göstərilməsi və proseslərin sənədləşdirilməsi.
Bizim üçün uyğun namizəd:
- Apache Spark ilə dağıdılmış məlumat emalı (batch və streaming) üzrə güclü təcrübəsi olan;
- Trino (və ya Presto) üzrə dərin biliklərə sahib;
- Hive ilə məlumat anbarı, partitioning, serde və performans optimallaşdırılması üzrə təcrübəyə malik;
- CDC prosesləri və Oracle GoldenGate vasitəsilə real-time data ingesting üzrə bilikləri olan;
- Apache Airflow ilə DAG-ların hazırlanması, optimallaşdırılması və iş cədvəllərinin idarə olunmasını bacaran;
- Apache Ranger ilə data security, access control və audit siyasətlərinin tətbiqini edə bilən;
- Data governance, metadata management və audit mexanizmlərinin qurulması üzrə təcrübəyə malik;
- MLflow vasitəsilə model tracking, versioning və deployment proseslərinin idarə edilməsini bacaran;
- Feast ilə feature store dizaynı və idarə olunmasına malik;
- Jupyter mühitində ilkin data processing və eksperimentlərin aparılmasını bilən;
- Linux əməliyyat sistemləri üzrə dərin biliklərə malik;
- MinIO advanced administration (erasure coding, bucket policy, load balancing);
- Python — Spark, Airflow DAG-ları, ETL və MLOps prosesləri üzrə biliklərə sahib;
- Git və CI/CD (GitLab CI/Jenkins) ilə iş təcrübəsi olan;
- Shell scripting və SQL üzrə bilikləri olan;
- Docker/Kubernetes teknologiyaları üzrə anlayış (üstünlükdür) olan;
- Big Data, Data Engineering minimum 3–5 il iş təcrübəsinə sahib;
- Enterprise-level data platformalarında çalışma təcrübəsi üstünlük hesab olunur;
- Kompleks sistemləri analiz etmək və problemlərin əsas səbəblərini müəyyən etmək bacarığı olan;
- Komanda ilə səmərəli əməkdaşlıq və digər departamentləri texniki baxımdan dəstəkləmək bacarığı olan;
- Sənədləşdirmə, standartlara uyğunluq və təhvil-təslim proseslərini dəqiq icra edə bilən şəxsdir.