Data Engineer в Маркет, компания Яндекс.
Какие задачи вас ждут:
- Принятие конечных сетевых решений по реализации поставок данных: проектирование схем поставок данных, выбор подхода к внесению доработок в витрины с минимизацией рисков релизов, критическая оценка результатов в интересах потребителей данных.
- Развитие фреймворков обработки данных: анализ существующих инструментов, выявление недостатков, инициирование улучшений или внедрение новых инструментов.
- Руководство реализацией сложных технических поставок: разбор алгоритмической составляющей инструментов и поиск эффективных решений, упрощение постановки задач.
Требования:
- Уверенное знание Python (на уровне написания собственного фреймворка) и SQL (на уровне оптимизации запросов).
- Опыт проектирования DWH: слои, модели хранения данных, процессы ETL.
- Понимание принципов работы распределённых систем (Hadoop или YTsaurus), опыт с ClickHouse.
- Умение выбирать технологии для решения конкретных задач.
- Знание основных алгоритмов и структур данных, особенно в контексте больших данных.
- Опыт работы от трёх лет.
- Уверенная работа в командной строке Unix-подобных систем (Linux, macOS).
Условия: офис / гибрид.