Senior Cloud Data Engineer
O projekcie
- Rozbudowa i utrzymanie data lake oraz procesów przetwarzania danych, które zasilają rozwiązania AI/ML odpowiedzialne m.in. za opportunity scoring.
- Rozbudowany management tabel z danymi w formacie Iceberg pod kątem zautomatyzowanej ewolucji schemy – schema jest różna pomiędzy klientami i lubi się zmieniać, jest to zaadresowane z przebudową schemy przy zero-downtime.
- Zrównoleglone i rozproszone data ingestion z dynamicznym tworzeniem zadań w Airflow.
- Orkiestracja trenowania modeli MLowych dla ponad 100 organizacji z jednoczesnym minimalizowaniem czasu potrzebnego na trening i inteligentnym zarządzaniem quotą w AWS SageMaker.
- Walidacja jakości danych – pełny lineage, adaptacyjne dzielenie kwerend dla dużych organizacji, itd.
- Izolacja pomiędzy organizacjami – dane, konfiguracje, harmonogramy, itd.
- Observability trenowanych modeli MLowych – zarówno podczas treningu jak również walidacji.
Wymagane
- Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym co najmniej 1 rok w projektach związanych z Machine Learningiem.
- Bardzo dobra znajomość Python – praktyczne wykorzystanie w projektach Data Engineering i ML.
- Doświadczenie w pracy z SQL i relacyjnymi bazami danych (PostgreSQL, Trino).
- Praktyczna znajomość Apache Airflow, w tym koncepcji data lineage i dynamicznego przydzielania zadań.
- Znajomość koncepcji uczenia maszynowego oraz technologii/frameworków ML takich jak XGBoost, Scikit-Learn, PyTorch, TensorFlow.
- Doświadczenie w pracy z chmurą AWS, zwłaszcza usługami związanymi z przetwarzaniem danych (AWS Glue, AWS SageMaker).
- Podstawowa wiedza z zakresu data observability i monitorowania jakości danych.
- Znajomość koncepcji MLOps oraz praktyk wspierających skalowalne wdrażanie modeli ML.
- Bardzo dobra znajomość języka polskiego oraz angielskiego na poziomie min. B2.
Mile widziane
- Znajomość przetwarzania danych strumieniowych.
- Znajomość data observability przy użyciu Splunk/SignalFx.
- Znajomość IaC z wykorzystaniem Terraform.

































