Проект: Сбербанк.
Локация: Москва. Формат: гибрид (2-3 дня на Вавилова). Занятость: фулл тайм.
Условие: Оформление совместительства на минимальную ставку в штат банка.
Требования:
- Java/Scala под Spark обязательно
- Опыт работы с Apache Spark от 1 года
- Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет
- Опыт работы с Hadoop (HDFS, Hive)
- Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных
- Опыт оптимизации ETL-пайплайнов и SQL-кода
- Продвинутые знания SQL
- Понимание принципов работы распределённых систем
- Готовность осваивать Java для использования Spark
Будет плюсом:
- Опыт разработки на Java
- Опыт в проектах по миграции данных или BI-платформ
- Опыт работы в банковской сфере, понимание бизнес-домена
- Опыт в крупных проектах с высокими требованиями к надёжности
Задачи:
- Разработка ETL на Apache Spark (Java-стек)
- Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse)
- Разработка витрин данных в Greenplum и ClickHouse
- Оркестрация ETL-процессов
- Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль)
- Взаимодействие с BI-разработчиками и DevOps для доставки данных в Superset
Отклик — через форму или напрямую рекрутеру. Откликайтесь только при релевантном опыте.