Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.
Предлагаем присоединиться в роли Data Engineer!
Заказчик — это ведущий российский ритейлер, который активно развивает онлайн-направление и собственную логистику, сохраняя лидерство в продуктовом ритейле.
Почему это будет интересно?
Требования:
- опыт работы в роли Data Engineer от 3-х лет;
- опыт работы с PySpark, навыки оптимизации: broadcast join, bucketing, partitioning, борьба с data skew, настройка параллелизма;
- знание Spark SQL: сложные аналитические запросы, опыт работы с объемами 100+ млн строк ежедневно;
- знание HDFS / S3. Trino. Форматы: ORC / Parquet / Iceberg.
- знание Apache Airflow, опыт написания DAGов, сенсоры, retries, SLA, backfill;
- знание Python 3;
- отличные знания Pandas, NumPy;
- знания SQL и РСУБД
- понимание Kubernetes, YARN.
Обязанности:
- разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно);
- настраивать хранение и доступность данных в DWH;
- автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари;
- работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей;
- принимать участие в развитии платформы прогнозирования спроса, делая ее более надежной, масштабируемой и удобной.