В связи с расширением команды и масштабированием проектов находимся в поиске дата инженера в IT-компанию, которая занимается разработкой и полным сопровождением заказного программного обеспечения, веб-сайтов и мобильных приложений, предоставляя широкий спектр услуг.

Cтек: Data LakeHouse архитектура, Kafka, Spark, Airflow, ClickHouse, S3, SuperSet, OpenMetadata. Таск-трекеры: Jira. Документация: Confluence

Чем предстоит заниматься:

  • Разрабатывать и поддерживать ETL/ELT пайплайны в Data Lakehouse архитектуре с Iceberg;

  • Разрабатывать витрины в ClickHouse;

  • Разрабатывать потоки данных из различных источников через Kafka и обработкой в Spark;

  • Настраивать и внедрять DataQuality проверки;

  • Работать с CDC и Debezium.

Ожидания:

  • 5+ лет опыта работы на позиции Data Engineer;

  • Опыт работы с Data Lakehouse архитектурой (предпочтительно с Iceberg);

  • Глубокое знание Python и SQL, опыт оптимизации запросов;

  • Опыт работы с инструментами оркестрации (Airflow);

  • Знание Big Data инструментов (Spark, Kafka, Trino);

  • Понимание Data Quality и Data Governance процессов;

  • Реализация интеграции с реляционными и NoSQL базами;

  • Знание инструментов CDC (Debezium, Kafka Connect).

Будет плюсом:

  • Опыт работы с BI инструментами (Power BI, Qlik, Metabase, Superset);

  • Опыт работы с MongoDB;

  • Понимание DevOps: Docker, Kubernetes.

Мы предлагаем:

  • Оформление по ТК Республики Беларусь;
  • Стабильную официальную заработную плату;
  • Комфортный, современный офис в Минске;
  • Расширенный социальный пакет.

Данное рабочее место является планируемым к созданию и замещению (перспективным).