Szukamy Senior Data Engineer MDP do modernizacji i rozwoju platformy danych w sektorze bankowym.
O projekcie
Projekt obejmuje migrację starszych potoków ETL do rozwiązania opartego na Apache Airflow i Kubernetes oraz dalszy rozwój platformy danych. Platforma integruje, przetwarza i dostarcza dane finansowe wykorzystywane w podejmowaniu decyzji i raportowaniu.
Warunki współpracy
- kontrakt B2B
- praca hybrydowa: 3 dni w tygodniu w biurze (Gdańsk)
Twój zakres obowiązków
- Migracja ponad 100 istniejących potoków ETL z dziesiątek systemów źródłowych na platformę orkiestracji Apache Airflow działającą na Kubernetes
- Projektowanie, budowanie i utrzymywanie niezawodnych, obserwowalnych i łatwych w obsłudze potoków pozyskiwania danych
- Współpraca z zespołami systemów źródłowych i interesariuszami z sektora bankowego przy podłączaniu nowych źródeł danych finansowych oraz utrzymaniu istniejących
- Stopniowe angażowanie się w warstwę transformacji Snowflake, w tym modelowanie danych z użyciem DBT i Pythona
- Współtworzenie praktyk CI/CD, testowania i jakości danych w miarę rozwoju narzędzi i procesów
- Współkształtowanie kierunku technicznego rozwijającej się platformy i zespołu oraz stopniowe przejmowanie szerszej odpowiedzialności
Wymagania
- Doświadczenie w programowaniu w Pythonie
- Doświadczenie w orkiestracji potoków danych z użyciem Apache Airflow
- Doświadczenie w pracy z SQL
- Doświadczenie w tworzeniu procesów ETL i potoków danych
- Doświadczenie w korzystaniu z systemu kontroli wersji Git
- Doświadczenie w modelowaniu wymiarowym danych
- Doświadczenie w pracy z danymi finansowymi lub bankowymi, np. w obszarze ryzyka kredytowego, raportowania regulacyjnego lub pokrewnych
Mile widziane
- Znajomość Snowflake
- Znajomość DBT
- Doświadczenie w korzystaniu z GitHub Copilot
- Znajomość Scali
- Znajomość Spark
- Znajomość Snowpark
- Znajomość Kafka
- Znajomość Jenkins
- Znajomość praktyk CI/CD
Co oferujemy
- prywatna opieka medyczna
- dofinansowanie zajęć sportowych
- wsparcie formalne od dokumentów po onboarding
Jak wygląda proces
- Rozmowa z rekruterem
- Rozmowa techniczna
- Rozmowa z klientem
B2B Network łączy specjalistów IT z projektami, które do nich pasują. To Ty wybierasz projekt, my zapewniamy stabilne warunki i wsparcie.