•••• Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

Senior Data Engineer (ETL / GCP)

Szczegóły współpracy
📍 Model współpracy: Hybryda - Warszawa
💼 Forma współpracy: B2B
💰 Stawka: 160 PLN/h netto
⏳ Okres współpracy: ponad 12 miesięcy

O projekcie
Poszukujemy Senior Data Engineera do zespołu, który rozwija procesy zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud i systemów kampanijnych. Budujemy rozwiązania, które przetwarzają duże wolumeny danych w trybie batch i w czasie zbliżonym do rzeczywistego. Z naszych danych powstają datamarty, analizy, raporty, segmentacje klientów oraz spersonalizowane oferty i kampanie. Jeśli chcesz budować niezawodne pipeline’y danych w środowisku hybrydowym i chmurowym, zapraszamy do kontaktu!

Twoje zadania:

  • Projektowanie, budowa i rozwój pipeline’ów ETL/ELT działających w trybie batch i streaming.

  • Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformę kampanijną.

  • Integracja danych z systemów on-premise, chmury GCP, baz danych, plików, API i systemów zdarzeniowych.

  • Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie warstw danych i datamartów tematycznych.

  • Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.

  • Programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście.

  • Budowa przepływów zdarzeniowych z wykorzystaniem Kafki lub Pub/Sub.

  • Dbanie o jakość, kompletność, spójność i terminowość danych.

  • Optymalizacja wydajności procesów i kosztów przetwarzania w GCP.

  • Wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania.

  • Przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania.

  • Testy, wsparcie wdrożeń, diagnozowanie incydentów i utrzymanie rozwiązań.

  • Tworzenie dokumentacji technicznej i rozwój rozwiązań zgodnie z podejściem DevSecOps.

Wymagania:

  • Doświadczenie na poziomie senior w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych.

  • Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.

  • Praktyczna znajomość BigQuery: projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów.

  • Doświadczenie w programowaniu w Pythonie i/lub Ruście.

  • Znajomość przetwarzania danych w trybie batch i streaming.

  • Znajomość architektury sterowanej zdarzeniami (Kafka lub Pub/Sub).

  • Doświadczenie w projektowaniu logicznych i fizycznych modeli danych.

  • Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.

  • Znajomość Linuxa w stopniu pozwalającym na samodzielną pracę i diagnozowanie problemów.

  • Umiejętność analizy wymagań biznesowych i przekładania ich na rozwiązania techniczne.

Mile widziane:

  • Doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage.

  • Znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow.

  • Doświadczenie z Kubernetes, Dockerem i CI/CD.

  • Znajomość Informatica PowerCenter lub innych narzędzi ETL.

  • Doświadczenie w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym.

  • Znajomość systemów kampanijnych, segmentacji klientów lub marketing automation.

  • Doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability.

  • Znajomość zagadnień bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych.

  • Znajomość AutomateNOW.

Czego szukamy poza technologią?

  • Samodzielności, odpowiedzialności i konsekwencji w realizacji zadań.

  • Dbałości o jakość, niezawodność i utrzymywalność rozwiązań.

  • Dobrej organizacji pracy i umiejętności szybkiego przyswajania wiedzy.

  • Umiejętności efektywnej współpracy w zespole.

  • Doświadczenia we współpracy z klientem biznesowym.

  • Dobrych umiejętności komunikacyjnych i analitycznego podejścia do problemów.