Обязанности:
- Проектировать структуры операционных хранилищ и модели мастер-данных.
- Разрабатывать процессы загрузки, обработки, хранения и передачи данных, пакетные и потоковые интеграции между системами.
- Настраивать получение изменений из систем-источников, включая CDC-механизмы.
- Реализовывать нормализацию, сопоставление, дедупликацию и консолидацию данных, хранение истории изменений.
- Готовить данные для DWH и других систем-потребителей; разрабатывать проверки качества данных и сверки.
- Настраивать мониторинг, логирование и обработку ошибок, анализировать сбои и сопровождать решения в промышленной эксплуатации.
- Участвовать в выборе архитектурных и технологических решений.
Требования:
- Уверенное владение SQL и опыт разработки на Python.
- Опыт проектирования структур и моделей хранения данных, разработки ETL- или ELT-процессов.
- Понимание пакетной и потоковой обработки данных, интеграционных паттернов, реляционных СУБД, целостности и консистентности данных.
- Навыки настройки логирования, мониторинга и обработки ошибок; умение самостоятельно доводить технические решения до промышленной эксплуатации.
- Будет плюсом опыт работы с Kafka, Flink, Debezium, Apache Airflow, ClickHouse, CDC, MDM, API, брокерами сообщений, Git, CI/CD и контейнеризацией.
Условия: полная занятость, график 5/2; удалённый, гибридный или офисный формат работы. Опыт работы 3–6 лет.