Длительный проект в Сбер. Грейд: Senior. Локация: г. Москва. Гражданство: РФ. Длительность: долгосрочный проект.
Условия: гибрид, 2-3 дня в неделю из офиса на ул. Вавилова. Оформление по ТК РФ или по ГПХ.
Вилка зарплаты: 230-260
Требования:
- Java (Scala) под Spark обязательно
- Опыт работы с Apache Spark от 1 года
- Опыт работы с СУБД: Greenplum, ClickHouse, PostgreSQL от 2 лет
- Опыт работы с Hadoop (HDFS, Hive)
- Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных
- Опыт оптимизации ETL-пайплайнов и SQL кода
- Продвинутые знания SQL
- Понимание принципов работы распределённых систем
- Готовность осваивать Java для использования Spark
Будет плюсом:
- Опыт разработки на Java
- Опыт проектов по миграции данных или BI-платформ
- Опыт в банковской сфере, понимание бизнес-домена
- Опыт работы в крупных проектах с высокими требованиями к надёжности
Задачи:
- Разработка ETL на Apache Spark (Java стек)
- Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse)
- Разработка витрин данных в Greenplum и ClickHouse
- Оркестрация ETL-процессов
- Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль)
- Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset