Требуется Middle Data Engineer в проект X5. Локация: РФ. Формат работы: удаленно. Занятость: фулл тайм.
Требования:
- Знание и опыт работы с: Git, SQL, PostgreSQL, Java, MySQL, Oracle, Python, ClickHouse, Greenplum, MSSQL, Hadoop, S3, Spark, Apache Airflow, Kafka, Flink, Trino, dbt, Cosmos, Iceberg, Lakehouse, NiFi, Avro, Parquet, MinIO
- Общее представление о стеке технологий Lakehouse
- Понимание различий между Big Data/Lakehouse и данными обычного размера
- Хорошее знание SQL (индексы, функции, оптимизация, профилирование производительности)
- Знание языков программирования: Java, Python
- Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MS SQL и т.п.)
- Умение работать с Git (git pull/commit/push)
- Опыт работы с dbt, Cosmos, NiFi
- Опыт разработки на Spark
- Понимание особенностей Trino
- Знание форматов данных: Iceberg, Parquet, Avro
- Понимание работы с MinIO или другим S3-совместимым хранилищем
- Опыт использования систем ведения проектов и документации
Задачи:
- Сбор требований с бизнес-заказчиков и анализ источников данных
- Разработка, реализация и поддержка интеграционных потоков и потоков сборки витрин данных на стеке: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
- Оперативное реагирование на инциденты в зоне ответственности и выполнение типовых задач в срок
- Поддержание актуальной документации типовых интеграционных решений платформы больших данных и предоставление отчетности руководителю