Finframe (финтех) ищет Lead/Senior Data Engineer. Формат: удаленно по РФ.
Основные задачи:
- Проектирование и развитие архитектуры Data Platform (DWH + Lakehouse) совместно с Data Architect
- Выбор технологических решений и инструментов; проработка подходов к Data Quality, lineage и monitoring
- Проектирование, разработка и поддержка ETL/ELT-пайплайнов; реализация ingestion и обработки данных в Lakehouse
- Разработка витрин данных; настройка оркестрации и мониторинга в Airflow
- Поддержка и развитие LakeHouse и DWH; внедрение практик CI/CD для data-разработки
- Документирование разработки
- Создание и развитие команды Data Engineers: развитие компетенций, процессы разработки, code review, планирование roadmap
Технический стек: S3, Iceberg, Airflow, Spark, Python, Trino, ClickHouse, Greenplum, DBT, Superset
Требования:
- Опыт в Data Engineering / DWH / Big Data от 6 лет
- Опыт с DBT, Airflow, Spark и объектными хранилищами
- Опыт проектирования Data Platform или ключевых её частей и оптимизации производительности DWH/Big Data систем
- Опыт technical leadership (lead / tech lead / играющий тренер)
- Понимание принципов Data Governance и Data Quality
- Будет плюсом: опыт создания Data Platform с нуля, включая MVP