Wspólnie z naszym Partnerem, liderem branży ubezpieczeniowej i reasekuracyjnej, poszukujemy doświadczonego/ej specjalisty/ki do świadczenia usług jako Data Engineer. Projekt koncentruje się na obszarze Data Intake: pozyskiwaniu danych z różnych źródeł oraz automatyzacji i niezawodności pipeline'ów w środowisku Azure i Databricks.
💡 ZAKRES USŁUG:
Nadawanie kierunku technicznego i rozwijanie dobrych praktyk inżynierskich we współpracy z innymi specjalistami w projekcie.
Transformowanie i przygotowywanie danych do dalszego wykorzystania przez kolejne warstwy systemu.
Scheduling i monitoring pipeline'ów z zapewnieniem właściwej obsługi błędów i logowania.
Budowanie i utrzymywanie pipeline'ów do pozyskiwania danych z różnych źródeł.
Dbanie o jakość danych (data quality) na każdym etapie procesu intake.
Automatyzowanie procesów data intake w środowisku chmurowym.
🔍 WYMAGANE KOMPETENCJE:
Udokumentowane doświadczenie w data ingestion i projektowaniu niezawodnych pipeline'ów.
Znajomość ekosystemu Azure w obszarze przetwarzania i przechowywania danych.
Praktyczna znajomość Python w kontekście budowy pipeline'ów danych.
Doświadczenie z platformą Databricks w środowisku produkcyjnym.
Biegła znajomość języka polskiego i angielskiego.
Mile widziane:
Znajomość PySpark i doświadczenie w przetwarzaniu danych na dużą skalę.
Umiejętność porządkowania sposobu pracy i wdrażania standardów technicznych w projekcie.
Doświadczenie na poziomie seniorskim pozwalające na samodzielne nadawanie kierunku technicznego.
✨ OFERUJEMY:
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
Wsparcie po stronie ••••••••• w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych.
5 000 PLN za polecenie znajomych do naszych projektów.
Elastyczna forma współpracy B2B.
Realizacja usług 100% zdalnie.
Szybki i zdalny proces.
Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.
13673/DK