Poszukujemy osoby na stanowisko Data Engineer (GCP).
Dołączysz do projektu realizowanego dla jednego z czołowych operatorów telekomunikacyjnych. Zespół odpowiada za migrację istniejącej hurtowni danych opartej na Oracle do środowiska Google Cloud Platform (GCP).
Będziesz uczestniczyć w rozwoju nowoczesnej architektury danych, projektowaniu i optymalizacji procesów ETL oraz budowaniu niezawodnych potoków danych zasilających środowisko Data Lake.
Lokalizacja: Warszawa / praca hybrydowa (3 dni w tygodniu z biura)
Model współpracy: B2B
Stawka: do 130 zł netto + VAT / h
Poziom: Regular
Branża: Telekomunikacja
Wymagania:
Minimum 3 lata doświadczenia w obszarze Data Engineering, Data Analytics lub Data Quality w organizacji pracującej z dużymi zbiorami danych.
Praktyczna znajomość Google Cloud Platform (GCP) – warunek konieczny.
Znajomość dbt (Data Build Tool).
Bardzo dobra znajomość SQL i PL/SQL.
Dobra znajomość Pythona.
Doświadczenie w pracy z Linux oraz skryptami Bash.
Znajomość procesów ETL oraz zagadnień związanych z przetwarzaniem danych w czasie rzeczywistym.
Praktyczna znajomość technologii z ekosystemu Cloudera Hadoop, w szczególności Apache Spark i Apache Kafka.
Znajomość zagadnień związanych z jakością danych i Data Governance.
Wykształcenie wyższe w obszarze informatyki, analizy danych, statystyki, ekonomii lub pokrewnym.
Znajomość języka angielskiego na poziomie minimum B2.
Mile widziane:
Znajomość języka Scala.
Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD.
Znajomość narzędzi automatyzujących procesy wytwarzania i wdrażania oprogramowania.
Doświadczenie w zarządzaniu metadanymi oraz wdrażaniu frameworków Data Quality.
Doświadczenie w integracji danych z różnych źródeł: Kafka, MQ, SFTP, API, bazy danych i udziały plikowe.
Obowiązki:
Projektowanie, budowa i utrzymanie procesów pobierania danych z różnych źródeł do Data Lake.
Rozwijanie i optymalizacja złożonych potoków danych (Data Pipelines).
Tworzenie i rozwój frameworków wspierających budowę oraz utrzymanie procesów przetwarzania danych.
Projektowanie i wdrażanie testów zapewniających wysoką jakość oraz niezawodność potoków danych.
Integracja danych pochodzących z różnych systemów źródłowych, m.in. Kafka, MQ, SFTP, baz danych i API.
Współpraca z analitykami danych oraz zespołami Data Science.
Dbanie o jakość, bezpieczeństwo, spójność i zgodność przetwarzanych danych.
Analizowanie i wdrażanie nowych rozwiązań technologicznych poprawiających wydajność procesów danych.
Oferujemy:
Współpracę B2B.
Wynagrodzenie do 130 zł netto + VAT za godzinę.
Pracę hybrydową w Warszawie (3 dni w tygodniu z biura) lub możliwość pracy w 100% zdalnej dla osób mieszkających poza Warszawą.
Praca przy migracji hurtowni danych z Oracle do GCP oraz budowie potoków danych.
14-dniowy termin płatności faktury.
Wsparcie dedykowanego opiekuna P&P Solutions przez cały okres współpracy.
Prywatną opiekę medyczną.
Dostęp do platformy kafeteryjnej MyBenefit, umożliwiającej korzystanie m.in. z kart MultiSport oraz kart przedpłaconych do IKEA, Zalando, Notino i wielu innych marek.
Szybki i przejrzysty proces rekrutacji.