Один из крупнейших банков РФ.
Мы ищем разработчика в команду по работе с данными. Специалист будет участвовать в разработке и поддержке ETL-процессов, а также в развитии решений для хранилищ данных на базе современных Big Data технологий.
Основные задачи:
- Разработка и поддержка ETL-пайплайнов с использованием Spark (DataFrame API).
- Работа с данными в различных источниках и СУБД.
- Анализ данных, выявление и устранение ошибок в процессах загрузки.
- Участие в развитии решений DWH / Data Lake.
- Взаимодействие с командами сопровождения: постановка задач и подготовка инструкций.
- Участие в тестировании, выполнение тестовых запросов совместно с командами сопровождения.
- Работа с системами контроля версий и процессами CI/CD.
Требования:
- Опыт разработки с использованием SQL, Spark, Hadoop, Hive.
- Опыт работы с различными СУБД: Oracle, PostgreSQL, MySQL, MariaDB, MS SQL и др.
- Опыт разработки ETL-процессов.
- Понимание принципов построения DWH / Data Lake.
- Знание процессов CI/CD и опыт работы с Git.
- Умение анализировать данные, выявлять причины ошибок и формулировать гипотезы.
- Умение ставить задачи и писать инструкции для команд сопровождения.
- Уверенное владение Excel.
Будет плюсом:
- Опыт работы с большими объемами данных.
- Навыки оптимизации SQL-запросов.
- Опыт работы с распределёнными системами обработки данных.