Senior Data Engineer (k/m) | procesy ETL i systemy kampanijne 

Dla naszego Klienta z branży bankowej poszukujemy Starszego Inżyniera Danych / Starszej Inżynierki Danych do zespołu odpowiedzialnego za zasilanie hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Zespół buduje rozwiązania, które przetwarzają duże wolumeny danych zarówno wsadowo, jak i niemal w czasie rzeczywistym, a dostarczane dane trafiają do datamartów, analiz, raportów, segmentacji klientów i spersonalizowanych kampanii. To rola dla osoby z solidnymi podstawami inżynierii danych, która ceni niezawodne rozwiązania i chce rozwijać się w obszarze chmury, streamingu i platform marketingowych. Współpraca odbywa się w trybie hybrydowym. 

Zatrudnienie w ramach grupy kapitałowej – przez spółkę Exorigo-Upos. 

Zakres obowiązków: 

  • projektowanie, budowa i rozwijanie pipeline’ów ETL/ELT działających w trybie batch oraz streaming, w szczególności na potrzeby systemów kampanijnych 

  • tworzenie procesów ładujących dane do BigQuery, hurtowni danych, Data Lake i platformy kampanijnej 

  • integrowanie danych z wielu źródeł: systemów on-premise, GCP, baz danych, plików, API oraz systemów zdarzeniowych 

  • budowa przepływów opartych na zdarzeniach z użyciem m.in. Kafki lub Pub/Sub 

  • projektowanie modeli danych na poziomie logicznym i fizycznym oraz przygotowywanie warstw danych, datamartów tematycznych i zbiorów dla procesów analitycznych i kampanijnych 

  • pisanie i optymalizacja zapytań SQL w bazach relacyjnych i kolumnowych 

  • implementacja procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście 

  • dbanie o jakość, kompletność, spójność i terminowe dostarczanie danych 

  • optymalizacja wydajności oraz kosztów przetwarzania w GCP 

  • wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponownego przetwarzania 

  • przekładanie potrzeb biznesu na koncepcje techniczne, modele danych i działające rozwiązania 

  • przygotowywanie testów, wsparcie wdrożeń, analiza incydentów i utrzymanie rozwiązań 

  • tworzenie i aktualizacja dokumentacji technicznej oraz praca zgodnie z podejściem DevSecOps 

Wymagania: 

  • Minimum 5-letnie doświadczenie komercyjne w inżynierii danych, w tym w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych 

  • bardzo dobra znajomość SQL, włącznie z optymalizacją zapytań i pracą na dużych wolumenach danych 

  • praktyczna praca z BigQuery: projektowanie struktur, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów 

  • doświadczenie programistyczne w Pythonie i/lub Ruście 

  • znajomość przetwarzania danych w trybie batch i streaming 

  • znajomość architektury event-driven oraz technologii takich jak Kafka lub Pub/Sub 

  • doświadczenie w projektowaniu logicznych i fizycznych modeli danych 

  • znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL 

  • Znajomość języka polskiego na poziomie C1 

Mile widziane: 

  • doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage 

  • znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow 

  • praca z Kubernetes, Dockerem i procesami CI/CD 

  • znajomość Informatica PowerCenter lub innych narzędzi ETL 

  • udział w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym 

  • znajomość systemów kampanijnych, segmentacji klientów lub przygotowania danych dla marketing automation 

  • doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability 

  • wiedza z zakresu bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych 

  • znajomość AutomateNOW 

Oferujemy: 

  • Współpracę z renomowaną organizacją (ITwiz BEST100), działającą w oparciu o międzynarodowe standardy jakości i bezpieczeństwa (ISO 9001, ISO 27001) 

  • Niekorporacyjną atmosferę i płaską strukturę organizacyjną 

  • Możliwość ciągłego rozwoju poprzez:  

    • pracę z wykorzystaniem różnorodnych technologii w projektach dla renomowanych klientów 

    • współpracę z doświadczonym zespołem ekspertów, którzy chętnie dzielą się wiedzą 

    • dofinansowanie do szkoleń i certyfikatów 

  • Program Poleceń Pracowniczych 

  • Udział w inicjatywach dobroczynnych, w tym współpracę z Fundacją im. Joanny Radziwiłł “Opiekuńcze Skrzydła” oraz udział w świątecznej akcji „Gwiazdorzymy” 

  • Różnorodne i inkluzywne środowisko pracy – w naszej firmie współpracują przedstawiciele czterech pokoleń 

  • Równe szanse rozwoju – 50% stanowisk menedżerskich i liderskich zajmują kobiety 

  • Opiekę medyczną LUX-MED, dofinansowanie 50% do karty Multisport, dofinansowanie do nauki języków oraz dostęp do platformy wellbeingowej 

  • Kulturę organizacyjną opartą na wartościach:  

    • działamy z dobrą intencją 

    • dzielimy się wiedzą 

    • bierzemy odpowiedzialność 

    • stale się doskonalimy 

    • ludzie są dla nas najważniejsi 

    • działamy, znając cel i sens naszej pracy 

    • komunikujemy się szczerze i profesjonalnie 

 Proces rekrutacyjny:

  1. selekcja CV

  2. - screening (30 min)

  3. rozmowa rekrutacyjna (z klientem)

  4. decyzja