Обязанности:
Строить и оптимизировать пайплайны обработки данныхВы будете развивать набор взаимосвязанных ETL-процессов и участвовать в работе на всех стадиях обработки данных, начиная с загрузки из источников и заканчивая подготовкой витрин и конечных выгрузок для внутренних сервисов. Важно проектировать эти процессы с продуманной архитектурой, где производительность и устойчивость — базовые требования. Обеспечивать надёжность и качество дата-процессов
Вам предстоит настраивать мониторинг, проверки качества и алертинг, контролировать задержки и полноту поставки данных, оперативно разбирать инциденты и устранять их причины, а не только последствия. Развивать внутренние дата-инструменты
У нас есть внутренний набор библиотек для работы с данными и оркестрации регулярных запусков дата-процессов. Вы будете улучшать библиотеки и создавать новые утилиты, которые позволят упростить и ускорить работу команды. Создавать бизнес-ценность через работу с данными
Важно не просто выполнять технические операции с данными, а понимать, как ваша работа влияет на бизнес‑результаты, и активно искать способы усилить это влияние.
Ключевые навыки:
- Отлично знаете Python и умеете разрабатывать чистый и эффективный код
- Отлично владеете SQL
- Знакомы с парадигмой MapReduce
Дополнительные требования:
- Создавали сложные высоконагруженные ETL- и ELT-процессы
- Работали с инструментами оркестрации
- Участвовали в проектировании хранилищ данных