Обязанности:
- Разрабатывать и совершенствовать платформу данных для электронной коммерции.
- Проектировать и разрабатывать ETL-пайплайны на Airflow для Spark (Batch, Streaming), Iceberg и Trino.
- Оптимизировать пайплайны и Spark-джобы, мониторить нагрузку на кластер и использование ресурсов.
- Взаимодействовать с аналитиками, ML-специалистами и DataOps для создания инструментов и наборов данных и развития дата-платформы.
- Анализировать и внедрять инструменты Data Engineering, включая Lineage и DQ.
- Проектировать хранилища на базе Kubernetes, настраивать производительность и мониторинг, планировать ёмкости кластера и инфраструктуры.
- Работать над внедрением облачной инфраструктуры и новой архитектурой хранилища.
- Проводить code review и участвовать в архитектурных решениях.
Требования:
- Опыт работы 3–6 лет.
- Знание Kubernetes, его ресурсной модели, конфигураций и troubleshooting.
- Опыт работы с Hadoop (HDFS, Hive Metastore) и Spark (Spark SQL, Streaming, PySpark).
- Знание Apache Iceberg: процедур, snapshots и maintenance.
- Глубокое понимание Airflow 2/3, идемпотентности, assets и backfills.
- Уверенное знание Git и CI/CD.
- Знание Python и Scala/Java, ООП, проектирования библиотек, интеграционных и unit-тестов.
- Хорошее понимание СУБД и SQL.
Будет плюсом: Docker, Kafka, Yandex Cloud, ClickHouse, активное использование Claude Code, Codex и подобных AI-инструментов, опыт построения harness-систем, автоматизации через LLM и RAG.
Условия: полная занятость, график 5/2, удалённый или гибридный формат работы.