Szukamy Senior Data Engineer MDP do modernizacji i rozwoju platformy danych w sektorze bankowym.

O projekcie

Projekt obejmuje migrację starszych potoków ETL do rozwiązania opartego na Apache Airflow i Kubernetes oraz dalszy rozwój platformy danych. Platforma integruje, przetwarza i dostarcza dane finansowe wykorzystywane w podejmowaniu decyzji i raportowaniu.

Warunki współpracy

  • kontrakt B2B
  • praca hybrydowa: 3 dni w tygodniu w biurze (Gdańsk)

Twój zakres obowiązków

  • Migracja ponad 100 istniejących potoków ETL z dziesiątek systemów źródłowych na platformę orkiestracji Apache Airflow działającą na Kubernetes
  • Projektowanie, budowanie i utrzymywanie niezawodnych, obserwowalnych i łatwych w obsłudze potoków pozyskiwania danych
  • Współpraca z zespołami systemów źródłowych i interesariuszami z sektora bankowego przy podłączaniu nowych źródeł danych finansowych oraz utrzymaniu istniejących
  • Stopniowe angażowanie się w warstwę transformacji Snowflake, w tym modelowanie danych z użyciem DBT i Pythona
  • Współtworzenie praktyk CI/CD, testowania i jakości danych w miarę rozwoju narzędzi i procesów
  • Współkształtowanie kierunku technicznego rozwijającej się platformy i zespołu oraz stopniowe przejmowanie szerszej odpowiedzialności

Wymagania

  • Doświadczenie w programowaniu w Pythonie
  • Doświadczenie w orkiestracji potoków danych z użyciem Apache Airflow
  • Doświadczenie w pracy z SQL
  • Doświadczenie w tworzeniu procesów ETL i potoków danych
  • Doświadczenie w korzystaniu z systemu kontroli wersji Git
  • Doświadczenie w modelowaniu wymiarowym danych
  • Doświadczenie w pracy z danymi finansowymi lub bankowymi, np. w obszarze ryzyka kredytowego, raportowania regulacyjnego lub pokrewnych

Mile widziane

  • Znajomość Snowflake
  • Znajomość DBT
  • Doświadczenie w korzystaniu z GitHub Copilot
  • Znajomość Scali
  • Znajomość Spark
  • Znajomość Snowpark
  • Znajomość Kafka
  • Znajomość Jenkins
  • Znajomość praktyk CI/CD

Co oferujemy

  • prywatna opieka medyczna
  • dofinansowanie zajęć sportowych
  • wsparcie formalne od dokumentów po onboarding

Jak wygląda proces

  1. Rozmowa z rekruterem
  2. Rozmowa techniczna
  3. Rozmowa z klientem

B2B Network łączy specjalistów IT z projektami, które do nich pasują. To Ty wybierasz projekt, my zapewniamy stabilne warunki i wsparcie.