Data Platform DWH позволяет главам продуктовых хранилищ Такси, Доставки и других сервисов, дата-партнёрам и инженерам понимать, что происходит с данными: отслеживать их использование, качество, актуальность и соблюдение SLA, контролировать стоимость расчёта и хранения и оптимизировать её. Вам предстоит развивать продукт Data Platform DWH и отвечать за его ключевые функции. Для этого потребуется совмещать роли системного аналитика и инженера: проектировать метамодели, наполнять их данными, расширять и модернизировать инструмент для эффективного управления DWH. Вы будете работать с технологиями ClickHouse, YTsaurus, Greenplum, Flink, рассматривая их как предметную область и продукт для нашего DWH. Если вы не боитесь сложных задач и готовы погрузиться в специфику разнородных систем хранения и обработки данных — приходите к нам.

Обязанности:

Анализ требований и проектирование
Вы будете собирать и анализировать требования команд различных DWH, чтобы понять их боли и спроектировать метамодели, которые решат проблемы видимости и управляемости данных, позволят анализировать затраты на вычисления и хранение в DWH. Разработка и визуализация
Вам предстоит реализовывать модели в ETL/ELT-процессах — от сбора данных до создания финальных витрин, а на основе витрин проектировать и строить дашборды в DataLens. Больше об аналитике в Яндексе — в канале Yandex for Analytics

Ключевые навыки:

  • Умеете выявлять, декомпозировать и формализовать требования пользователей и технических команд
  • Понимаете принципы построения хранилищ данных, схемы «звезды», Data Vault, их плюсы и минусы
  • Отлично знаете SQL и разбираетесь в теории баз данных
  • Уверенно владеете Python для решения инженерных задач
  • Имеете опыт реализации ETL-процессов
  • Не боитесь трудных задач, готовы разбираться в устройстве систем хранения данных (ClickHouse, Greenplum, YTsaurus и других) и глубоко погружаться в сложные технические процессы, чтобы растить данные как продукт

Дополнительные требования:

  • Проектировали или развивали крупные хранилища данных
  • Понимаете принципы мониторинга и обеспечения качества данных
  • Знакомы со стеком технологий Hadoop
  • Работали с системой визуализации данных DataLens или аналогами