Проект по масштабированию и совершенствованию корпоративной платформы данных для федеральной розничной сети.

Задачи:

  • Создание и развитие ETL-пайплайнов с использованием Python и PySpark.
  • Поддержка и доработка DAG в Airflow: анализ логов, устранение типовых сбоев и выполнение backfill.
  • Разработка dbt-моделей, тестов и документации.
  • Обслуживание сущностей Data Vault 2.0 в части Satellite.
  • Работа с S3 через boto3 и с СУБД.
  • Проверки качества данных: контроль NULL-значений, уникальности ключей и корректности типов.
  • Фиксация технических метаданных в DataHub и отслеживание статуса пайплайнов в системах мониторинга.

Требования:

  • Не менее 2 лет опыта в роли data-инженера.
  • Уверенное владение Python, включая основы ООП, написание и отладку ETL-скриптов.
  • Знание PySpark, DataFrames API и основ архитектуры Spark.
  • Навыки SQL: JOIN, агрегации, оконные функции и базовое понимание индексов.
  • Опыт работы с Airflow, dbt, Git, GitLab CI и Docker.
  • Понимание OLTP и OLAP, строковых и колоночных хранилищ, принципов Data Vault 2.0, реляционной модели и ACID.
  • Опыт работы с PostgreSQL, ClickHouse, Greenplum, Oracle или MySQL; базовые знания NoSQL.
  • Навыки чтения дашбордов в Grafana и работы с Sentry и Kibana.
  • Дополнительно: опыт в ритейле от 3 лет, Kubernetes, DataHub и дата-контракты.