Senior Data Engineer в Маркет. Компания: Яндекс.
Задачи:
- Принятие конечных сетевых решений по реализации поставок данных: проектирование схем поставок данных, выбор подхода к внесению доработок в витрины с минимизацией рисков релизов, критический контроль в интересах потребителей данных.
- Развитие фреймворков обработки данных: анализ существующих инструментов, инициирование улучшений и поиск новых решений для более эффективного решения задач.
- Руководство реализацией сложных технических поставок: разбор алгоритмической составляющей инструментов и поиск эффективных решений, в том числе упрощая постановку задачи.
Требования:
- Уверенное знание Python и SQL (оптимизация запросов).
- Проектирование DWH: слои, модели хранения данных, процессы ETL.
- Понимание принципов работы распределённых систем: Hadoop, YTsaurus, ClickHouse.
- Умение выбирать технологии для решения конкретных задач.
- Знание основных алгоритмов и структур данных, особенно для работы с большими данными.
- Опыт работы от трёх лет.
- Умение работать в командной строке Unix-подобных систем (Linux, macOS).
Будет плюсом:
- Опыт промышленной разработки на C++.
- Опыт в ecom-отрасли.
- Опыт решения задач в роли аналитика, управление командой или проектами.