Наша команда разработки аналитической инфраструктуры занимается полным циклом обработки данных в компании. Цикл включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Наши пользователи — это и продуктовые команды, которым нужна регулярная отчётность для принятия решений, и эксперты в области глубокого анализа данных. Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), СlickHouse и PostgreSQL. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, который разработан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.

Обязанности:

Проектирование структуры
Вы будете проектировать структуру хранения и обработки данных для новой версии DWH Авто.ру, которая будет создаваться с нуля. Сопровождение процессов наполнения DWH Авто.ру
Вам предстоит сопровождать текущие процессы наполнения DWH Авто.ру, заниматься созданием новых ETL-процессов в условиях изменения стека в сторону опенсорса. Оптимизация процессов поставки данных там, где это требуется
При необходимости вы будете погружаться в специфику данных одной или нескольких прикладных бизнес-областей, чтобы как эксперт помогать выявлять критичные аномалии в данных.

Ключевые навыки:

  • Занимались промышленной разработкой на Python
  • Проектировали DWH: слои, модели хранения данных, ETL/ELT-процессы
  • Разрабатывали ETL-процессы с использованием Apache Airflow для DWH на основе Greenplum
  • Настраивали поставки данных по API
  • Разбираетесь в SQL на уровне эксперта
  • Понимаете устройство и архитектуру реляционных и нереляционных баз данных
  • Понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce и MPP
  • Знаете основные алгоритмы и структуры данных (особенно те, которые используются в работе с большими данными)

Дополнительные требования:

  • Работали с системами YT (YTsaurus), ClickHouse, а также с инструментами оркестрации и выполнения процессов от Яндекса
  • Работали с брокерами сообщений Kafka, RabbitMQ и т. д.
  • Умеете работать в командной строке *nix-систем: Linux и macOS

Условия:

* Конкурентную заработную плату: с удовольствием обсуждаем индивидуальные условия с интересными для нас кандидатами * Расширенное страхование: ДМС с первого месяца работы с широким покрытием, страхование от несчастных случаев, страхование выезжающих за рубеж, а также возможность застраховать семью с корпоративной скидкой * Компенсацию оплаты питания, а также завтраки, ланчи и снеки в офисе * Обучение: внутренняя библиотека, курсы * Жилищную программу * Гибкий формат работы: каждый сотрудник сам выбирает комфортный для себя режим — дом, офис или смешанный формат