Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.

Платформа данных - ведет разработку инфраструктуры вокруг всех данных нашего маркетплейса. Здесь проходит путь от рождения данных до их хранения: агенты, фреймворки, предобработки, миграции.
Проект является центральной дата структурой компании. Глобальная задача: строительство центральной платформы данных.

Обязанности

  • Помогать команде Data Engineering в диагностике и устранении потенциальных инфраструктурных проблем, влияющих на выполнение Airflow DAGs;
  • Поддерживать команды Data Engineering по вопросам, связанным с Kubeflow Spark. Operator: проверка гипотез, помощь в отладке и подготовка тестовых SparkApplication;
  • Разрабатывать базовые Helm-чарты для быстрого прототипирования и проверки инфраструктурных гипотез;
  • Участвовать в миграции Airflow 2.x на Airflow 3.x;
  • Собирать требования к библиотекам и внесение изменений в Docker-образы, используемые Data Engineering-командой;
  • Развивать CI/CD-процессов для сборки и доставки DBT-моделей, включая blue-green deployment.

Требования

  • Уверенный опыт работы с Airflow в роли инфраструктурного инженера; понимание архитектуры Airflow и различий между LocalExecutor, KubernetesExecutor и CeleryExecutor;
  • Базовые, но уверенные знания Kubernetes и способность оперативно диагностировать и устранять типовые проблемы на уровне Deployment, StatefulSet, CRD и PVC;
  • Понимание принципов работы Helm, умение дорабатывать существующие Helm-чарты и создавать новые; опыт работы с umbrella chart будет преимуществом;
  • Базовое понимание GitOps-подхода и практический опыт работы с Argo CD будет преимуществом;
  • Базовый опыт работы с GitLab CI, включая умение собирать и поддерживать CI/CD-пайплайны на основе шаблонов;
  • Готовность брать ownership за критичные инсталляции и сервисы, с которыми ежедневно работают команды Data Engineering.

Условия

  • Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
  • Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
  • Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
  • Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
  • Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
  • Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.