Ищем Senior Data Engineer для развития платформы больших данных и построения современных Lakehouse-решений.

Технологический стек:

  • Greenplum
  • Trino
  • Apache Airflow
  • ClickHouse
  • Python
  • Spark
  • SQL / dbt
  • S3
  • Hadoop
  • Kafka
  • Iceberg
  • Cosmos
  • Flink

Основные задачи:

  • Разработка и поддержка интеграционных потоков и data pipelines
  • Построение витрин данных
  • Разработка сложных интеграций (в том числе SAP)
  • Разработка reusable data-processing templates
  • System Design сложных решений
  • Поддержка и развитие Big Data / Lakehouse платформы
  • Работа с документацией и observability процессов
  • Оперативное решение production issues

Требования:

  • Хорошее понимание архитектуры Lakehouse / Big Data
  • Отличное знание SQL: оптимизация, индексы, профилирование производительности
  • Уверенный Python
  • Опыт работы со Spark
  • Опыт работы с Hadoop ecosystem: Yarn, Ranger, Zookeeper, Hive Metastore
  • Опыт работы с: dbt, Cosmos, NiFi, Airflow, Trino, ClickHouse
  • Опыт работы с реляционными БД: Oracle, PostgreSQL, MySQL, MSSQL
  • Git (pull / commit / push)

Будет плюсом:

  • SAP integrations
  • Iceberg / Lakehouse architecture
  • Kafka / Flink
  • Observability stack
  • Avro / Parquet

Условия: Локация: РФ. Удалённый формат. ЗП указана ниже.