Яндекс, команда Доставка ищет Инженера данных.
Обязанности:
- Разработка и поддержка ETL-процессов — проектирование и поддержка ETL-пайплайнов для обработки данных от источников до дашбордов, работа в составе V-team своего домена данных.
- Повышение качества и стабильности данных — обеспечение стабильности и производительности витрин и дашбордов, разработка механизмов контроля качества данных и оптимизация существующих процессов обработки.
- Поддержка инфраструктуры данных — поддержка ключевых компонентов платформы (ClickHouse, Greenplum, YTsaurus, ETL-сервисы) и взаимодействие с инфраструктурными командами.
- Техническая поддержка аналитиков по вопросам работы с данными и инструментами платформы.
Требования:
- Отлично знаете Python
- Опыт с Greenplum, Vertica, ClickHouse или другими MPP-СУБД
- Опыт работы с большими объёмами данных в Hadoop (HDFS, Spark, Hive), YTsaurus или аналогичных экосистемах
- Понимание принципов проектирования хранилищ данных, ETL-фреймворков и систем мониторинга
- Умение оптимизировать запросы и оценивать вычислительную нагрузку