Позиция: Senior Data аналитик в компании HuntTech.
Условия: гибрид в Москве, гражданство: РФ, занятость: Full-time.
Обязанности:
- Разработка ETL на Apache Spark (Java стек).
- Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse).
- Разработка витрин данных в Greenplum и ClickHouse.
- Оркестрация ETL-процессов.
- Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль).
- Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset.
Требования:
- Java(Scala) под Spark обязательно.
- Опыт работы с Apache Spark от 1 года.
- Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет.
- Опыт работы с Hadoop (HDFS, Hive).
- Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных.
- Опыт оптимизации ETL-пайплайнов и SQL кода; продвинутые знания SQL.
- Понимание принципов работы распределенных систем; готовность осваивать Java для использования Spark.
- Опыт работы общий от 5 лет.
Плюсы:
- Опыт разработки на Java.
- Опыт в проектах по миграции данных или BI-платформах.
- Опыт в банковской сфере и крупных проектах с высокими требованиями к надежности.