O projekcie

Szukamy doświadczonego inżyniera do projektu realizowanego dla jednego z naszych klientów z sektora finansowego. Celem jest budowa hybrydowego środowiska Kafka, które połączy klastry on-premise z chmurą AWS. Projekt obejmuje wdrożenie rozwiązań Kafka w AWS, implementację replikacji danych między środowiskami oraz stworzenie procesów CI/CD i Infrastructure as Code. Dołączysz do zespołu Data Platform, gdzie będziesz współpracować z inżynierami danych, specjalistami DevOps i ekspertami od bezpieczeństwa.

Tryb pracy: 1 dzień w miesiącu w biurze we Wrocławiu, reszta zdalnie.

Twój zakres obowiązków

  • Projektowanie hybrydowej topologii Kafki łączącej środowisko on-premise z AWS.

  • Dobór i konfiguracja komponentów Confluent Platform, takich jak Schema Registry, Flink, Control Center czy Tableflow.

  • Tworzenie klastrów Kafka w AWS (MSK, Confluent Cloud) oraz wdrażanie monitoringu opartego na Prometheus i Grafana.

  • Konfiguracja narzędzi do replikacji i synchronizacji danych (MirrorMaker 2, Cluster Linking, Replicator) z zachowaniem spójności i niskich opóźnień.

  • Definiowanie procesów CI/CD dla wdrożeń Kafki, schematów i aplikacji konsumenckich.

  • Implementacja infrastruktury w modelu IaC przy użyciu narzędzia Terraform.

  • Tworzenie run-booków, obsługa incydentów, optymalizacja wydajności oraz strojenie konfiguracji.

  • Dzielenie się wiedzą i mentoring techniczny mniej doświadczonych członków zespołu.

Czego oczekujemy

  • Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Kafka.

  • Biegła znajomość Confluent Platform w wersji Enterprise oraz Confluent Cloud.

  • Praktyczne doświadczenie w migracji i replikacji klastrów przy użyciu MirrorMaker 2, Cluster Linking lub Confluent Replicator.

  • Dobra znajomość chmury AWS i jej usług (VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets Manager).

  • Doświadczenie w budowie i utrzymaniu środowisk hybrydowych.

  • Umiejętność pisania kodu infrastruktury w Terraform oraz znajomość Ansible.

  • Praktyczna znajomość narzędzi CI/CD (GitHub Actions, GitLab CI lub Jenkins).

  • Umiejętność tworzenia skryptów w językach Python i Bash.

  • Doświadczenie z narzędziami do monitoringu (Prometheus, Grafana, OpenTelemetry, Elastic Stack).

  • Znajomość zagadnień bezpieczeństwa (TLS, SASL, ACL, RBAC, szyfrowanie danych).

  • Doświadczenie w pracy w środowisku zwinnym (Scrum, Kanban).