Senior Data Engineer
Twoje zadania
- Projektowanie, implementowanie, testowanie oraz wdrażanie potoków ETL/ELT.
- Dbanie o bezpieczeństwo danych (data governance, sovereignty, masking and lineage).
- Rozwijanie procedur oraz skryptów przeznaczonych do migracji danych.
- Przeglądanie, uzupełnianie oraz wdrażanie wymogów technicznych oraz biznesowych.
- Przeglądanie i uzupełnianie zadań oraz historii użytkownika.
- Estymacja złożoności zadań oraz analiza kryteriów akceptacyjnych.
- Implementacja wymagań niefunkcjonalnych w zakresie przetwarzania danych.
- Wdrażanie kodu zgodnie z dobrymi praktykami.
- Debuggowanie oraz optymalizacja kodu.
- Dzielenie się wiedzą z członkami zespołu.
Wymagania „Must Have”
- Ukończone studia inżynierskie/magisterskie z zakresu informatyki lub dziedzin pokrewnych.
- Umiejętności z zakresu obróbki danych (data wrangling) jako część potoków Data Science.
- Doświadczenie w budowaniu potoków z wykorzystaniem narzędzi DataFusion (GCP), CDAP lub Spark.
- Dobra znajomość języka Java lub Python w celu implementacji pluginów do DataFusion.
- Przynajmniej rok doświadczenia w rozwijaniu, modyfikowaniu i optymalizacji zapytań SQL/T-SQL.
- Doświadczenie w administrowaniu i budowaniu Baz Danych, Data Warehouse i Data Lakes w architekturze chmurowej lun typu on-premise.
- Znajomość metodyk zarządzania projektami Agile/Scrum, zasad ITIL oraz DevOps.
- Bardzo dobra znajomość języka angielskiego zarówno w mowie jak i piśmie.
- Dobra organizacja pracy, otwartość na naukę nowych umiejętności oraz chęć współpracy z innymi członkami zespołu.
Wymagania „Should Have”
- Dobra znajomość zasad projektowania rozwiązań w oparciu o chmurę GCP.
- Dobra znajomość technologii bazodanowych, przechowywania danych oraz technologii sieciowych.
- Dobra znajomość narzędzi DevOps, takich jak – Ansible, Jenkins, Github (GH Actions), Puppet, Chef, Terraform, szczególnie w zakresie zarządzania artefaktami.
Wymagania „Nice to Have”
- Doświadczenie w monitorowaniu pracy aplikacji oraz wsparciu produkcji.
- Rozległą znajomość narzędzi powszechnie wykorzystywanych w IT do rozwoju oprogramowania oraz zarządzania projektami.