Требования:
- Опыт работы Data Engineer от 5 лет; гражданство РФ или РБ.
- Знание методологии Data Vault 2.0.
- Уверенное знание Python, Scala или Java для разработки ETL/ELT-процессов и сервисов обработки данных; отличное знание SQL и опыт оптимизации сложных запросов.
- Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse.
- Практический опыт работы с Apache Spark, Apache Airflow, Apache Kafka и системами потоковой обработки данных.
- Опыт работы с HDFS, Parquet, Avro, Hadoop и Apache Iceberg либо современными платформами хранения и обработки данных.
- Опыт работы с PostgreSQL, Oracle, ClickHouse или Greenplum; уверенное владение Git и понимание CI/CD.
- Опыт использования Jira, Confluence или аналогов, dbt, Data Quality решений (Great Expectations, Soda и др.), Data Catalog и Data Governance инструментов.
- Понимание принципов построения отказоустойчивых и масштабируемых решений.
Задачи:
- Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных.
- Разработка и оптимизация batch- и streaming-пайплайнов, ETL/ELT-процессов.
- Проектирование моделей данных и оптимизация процессов обработки данных и SQL-запросов.
- Обеспечение качества данных, участие в проектировании архитектуры платформы данных и выборе технологий.
- Развитие практик DataOps и CI/CD, подготовка технической документации и архитектурных артефактов.
- Проведение код-ревью, техническое менторство и участие в развитии команды.
Условия: удалённая работа, полная или проектная занятость, оформление по ГПХ. Локация: РФ или РБ.