Разработка и поддержка data pipeline’ов в облачной среде, оптимизация их производительности, настройка мониторинга и алертинга, участие в создании дашбордов для отслеживания здоровья данных. Внедрение и развитие практик Data Quality и DataOps, поддержка технической документации.
Требования:
- Опыт работы от 3 лет; опыт промышленной разработки на Scala от 2 лет либо уверенное знание Python/PySpark и готовность работать с Scala-ядром.
- Отличное знание SQL, включая сложные запросы, оптимизацию, планы выполнения и внутреннюю работу движка.
- Уверенное знание Apache Spark, его архитектуры, работы с памятью и оптимизации задач.
- Понимание архитектуры Lakehouse, концепций DWH и Data Lake, слоев данных, витрин и агрегатов.
- Опыт работы с Airflow, Dagster или аналогичными оркестраторами; уверенная работа с Git и понимание CI/CD для данных.
- Будет плюсом: опыт со стриминговым ETL, современными табличными форматами, Kubernetes и инструментами Data Quality; базовое понимание ML-процессов и feature store.
Условия: полная занятость, график 5/2; формат работы — удалённо, гибридный или офисный.