Junior Data Engineer в команду Data Assistance, МТС Веб Сервисы.

Чем предстоит заниматься:

  • Разрабатывать ETL-процессы для извлечения, очистки, трансформации и загрузки данных;
  • Интегрировать новые источники данных в существующую архитектуру;
  • Адаптировать и дорабатывать существующие процессы под изменяющиеся бизнес-требования;
  • Писать и оптимизировать SQL-запросы для работы с большими объёмами данных;
  • Участвовать в создании и поддержке витрин данных.

Что мы ожидаем:

  • Опыт работы с Apache Spark (фундаментальные концепции: RDD, DataFrame, transformations, actions);
  • Уверенное владение SQL (JOIN, UNION, оконные функции, понимание реляционных БД);
  • Знание основ Python (синтаксис, коллекции, функции);
  • Понимание разницы между ETL и ELT, знакомство с концепциями оркестрации (Airflow);
  • Умение работать с Git (репозиторий, ветки, коммиты);
  • Знакомство с Hadoop-экосистемой (HDFS, YARN, Hive);
  • Готовность учиться и глубоко разбираться в задачах;
  • Будет преимуществом: опыт с Kafka, Flink, Spark Streaming.