Finframe (финтех) приглашает Lead/Senior Data Engineer. Роль предполагает построение Data Platform с нуля, развитие Lakehouse и аналитического DWH, а также создание и развитие команды.
Формат: удаленно по РФ
Обязанности:
- Проектирование архитектуры Data Platform (DWH + Lakehouse) совместно с Data Architect
- Выбор технологических решений и инструментов
- Проработка подходов к Data Quality, lineage и monitoring
- Проектирование, разработка и поддержка ETL/ELT-пайплайнов
- Разработка витрин данных, реализация ingestion и обработки данных в Lakehouse
- Настройка оркестрации и мониторинга в Airflow
- Поддержка и развитие LakeHouse и DWH
- Внедрение практик CI/CD для data-разработки и документирование
- Создание команды Data Engineers, развитие компетенций, code review и внедрение engineering best-practices
- Планирование roadmap и взаимодействие с архитекторами, аналитиками и backend-командами
Технический стек (обязателен):
- S3
- Iceberg
- Airflow
- Spark
- Python
- Trino
- ClickHouse
- Greenplum
- DBT
- Superset
Требования:
- Опыт в Data Engineering / DWH / Big Data от 6 лет
- Опыт работы с DBT, Airflow, Spark и объектными хранилищами
- Опыт проектирования Data Platform или ключевых её частей
- Опыт оптимизации производительности DWH или Big Data систем
- Опыт technical leadership (lead / tech lead / играющий тренер)
- Понимание принципов Data Governance и Data Quality