Чем предстоит заниматься:

  • Развивать DWH и Data Lake: участвовать в проектировании и наполнении аналитических слоёв данных на базе S3, PostgreSQL и ClickHouse.
  • Разрабатывать и поддерживать ETL/ELT-пайплайны с использованием Apache Spark (PySpark) и Python.
  • Создавать, оптимизировать и мониторить регулярные DAG'и в Apache Airflow.
  • Проектировать и поставлять агрегированные данные для продуктовой и бизнес-аналитики в Apache Superset.
  • Интегрировать данные из микросервисов, очередей сообщений и внешних API: телематики, скоринга контрагентов и картографических сервисов.
  • Контролировать качество данных, мониторить выполнение пайплайнов, профилировать и ускорять аналитические запросы в ClickHouse и PostgreSQL.

Требования:

  • Коммерческий опыт работы Data Engineer или DWH-разработчиком от 1,5 лет.
  • Уверенное владение SQL: сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN).
  • Опыт работы с Apache Airflow: разработка DAG'ов, стандартными и кастомными операторами, понимание идемпотентности и бэкфилов.
  • Практический опыт с PostgreSQL, включая реляционное моделирование, индексы и транзакции.
  • Практический опыт с ClickHouse, включая семейство движков MergeTree и особенности колоночного хранения.
  • Опыт работы с S3-совместимыми хранилищами и форматами Parquet/ORC.
  • Уверенное владение Python и умение писать чистый, структурированный код для обработки данных.
  • Базовое понимание подготовки данных для BI-инструментов, в частности Apache Superset.
  • Навыки работы с Git, Docker и Linux.

Будет плюсом:

  • Опыт работы с Apache Kafka или RabbitMQ.
  • Опыт работы с dbt, Great Expectations или Pandera.
  • Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset.
  • Понимание логистического или B2B SaaS-домена.

Условия: полная занятость, график 5/2. Формат работы — удалённо, гибридно или в офисе.