Развитие инфраструктуры обработки данных на базе Hadoop и GreenPlum: подключение источников, потоковая обработка, ETL и Reverse ETL, качество данных, Data Catalog и Data Lineage.

  • Разрабатывать и дорабатывать ETL-процессы в Airflow.
  • Подключать новые источники данных, создавать и дорабатывать витрины.
  • Оптимизировать SQL-запросы в GreenPlum и PostgreSQL и работать с большими объёмами данных.
  • Развивать процессы контроля качества данных.

Требования:

  • От 1 года опыта работы с данными.
  • Отличное знание SQL, включая JOIN, оконные функции и процедуры; умение профилировать и оптимизировать запросы и понимать планы выполнения.
  • Понимание реляционных БД и архитектуры DWH (ODS, DDS, DM).
  • Практический опыт работы с Airflow и ETL-процессами; базовый Python.
  • Знание Linux и командной строки, опыт работы с Git.
  • Понимание принципов работы Docker.
  • Опыт работы с большими данными (более 100 GB) и DataHub.
  • Самостоятельность, амбициозность, лидерские качества и стремление выстраивать качественные процессы работы с данными.