Обязанности:
  • Проектировать и поддерживать пайплайны загрузки данных (CDC)
    из PostgreSQL / MySQL / MongoDB через Debezium + Kafka;
  • Развивать хранилище данных на ClickHouse: проектировать таблицы и схемы; выбирать движки (MergeTree и др.); настраивать шардирование и репликацию; создавать материализованные представления;
  • Оркестрировать пайплайны в Apache Airflow: писать DAG’и; создавать кастомные операторы; настраивать мониторинг и алерты;
  • Строить слой трансформаций в dbt: модели данных; тесты и документация; инкрементальные загрузки;
  • Оптимизировать: скорость выполнения запросов; затраты на хранение данных;
  • Обеспечивать качество данных: тесты; data‑контракты; контроль и observability;
  • Проводить code review;
  • Менторить junior‑инженеров и развивать инженерные практики в команде;
Требования:
  • Опыт работы более 3 лет в роли Data Engineer или на смежной позиции с фокусом на построение data-пайплайнов;
  • ClickHouse — глубокое понимание движков семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree, SummingMergeTree), партиционирования, проекций, материализованных представлений;
  • Опыт настройки шардирования и репликации;
  • Навыки оптимизации тяжёлых запросов;
  • Debezium + Kafka — опыт настройки CDC-коннекторов для реляционных и NoSQL-источников, понимание snapshot/streaming-режимов, обработка schema evolution, работа с Kafka Connect;
  • Apache Airflow — уверенное написание DAG'ов, опыт с TaskFlow API, разработка кастомных операторов и хуков, понимание архитектуры (scheduler, executor, workers), настройка мониторинга и алертинга;
  • DBT — построение моделей и тестов (generic и singular), макросы, инкрементальные модели, работа с источниками и снапшотами, ведение документации;
  • Уверенный SQL: оконные функции, CTE, чтение и оптимизация планов выполнения;
  • Python на уровне продакшн-кода;
  • Опыт работы с качеством данных: написание тестов, data contracts, observability-практики.
Условия:

  • Официальное трудоустройство по ТК РК;

  • График работы: 5/2;

  • Работа в офисе (БЦ Agar, Астана) — комфортное рабочее место;

  • Социальный пакет: оплачиваемый отпуск, больничные, ДМС после испытательного срока;

  • Работа в команде IT-поддержки;

  • Обучение за счёт компании: курсы, конференции, профильная литература;

  • Работа с разными системами и бизнес-процессами;

  • Доступ к базе знаний и внутреннему обучению.