Обязанности:
  • Проектирование и поддержка пайплайнов CDC-репликации данных из PostgreSQL/MySQL/MongoDB в хранилище через Debezium + Kafka
  • Разработка и оптимизация хранилища на ClickHouse: схемы, движки таблиц, материализованные представления, шардирование и репликация
  • Оркестрация data-пайплайнов в Apache Airflow: написание DAG'ов, кастомных операторов, мониторинг и алертинг
  • Построение трансформационного слоя на dbt: модели, тесты, документация, инкрементальные стратегии
  • Оптимизация производительности запросов и стоимости хранения
  • Поддержка качества данных: тесты, контракты, observability Code review, менторинг junior-инженеров, развитие инженерной культуры в команде
Условия:
  • интересный проект
  • хорошие условия труда