Чем предстоит заниматься:
- Развивать DWH и Data Lake: участвовать в проектировании и наполнении аналитических слоёв данных на базе S3, PostgreSQL и ClickHouse.
- Разрабатывать и поддерживать ETL/ELT-пайплайны с использованием Apache Spark (PySpark) и Python.
- Создавать, оптимизировать и мониторить регулярные DAG'и в Apache Airflow.
- Проектировать и поставлять агрегированные данные для продуктовой и бизнес-аналитики в Apache Superset.
- Интегрировать данные из микросервисов, очередей сообщений и внешних API: телематики, скоринга контрагентов и картографических сервисов.
- Контролировать качество данных, мониторить выполнение пайплайнов, профилировать и ускорять аналитические запросы в ClickHouse и PostgreSQL.
Требования:
- Коммерческий опыт работы Data Engineer или DWH-разработчиком от 1,5 лет.
- Уверенное владение SQL: сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN).
- Опыт работы с Apache Airflow: разработка DAG'ов, стандартными и кастомными операторами, понимание идемпотентности и бэкфилов.
- Практический опыт с PostgreSQL, включая реляционное моделирование, индексы и транзакции.
- Практический опыт с ClickHouse, включая семейство движков MergeTree и особенности колоночного хранения.
- Опыт работы с S3-совместимыми хранилищами и форматами Parquet/ORC.
- Уверенное владение Python и умение писать чистый, структурированный код для обработки данных.
- Базовое понимание подготовки данных для BI-инструментов, в частности Apache Superset.
- Навыки работы с Git, Docker и Linux.
Будет плюсом:
- Опыт работы с Apache Kafka или RabbitMQ.
- Опыт работы с dbt, Great Expectations или Pandera.
- Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset.
- Понимание логистического или B2B SaaS-домена.
Условия: полная занятость, график 5/2. Формат работы — удалённо, гибридно или в офисе.