Цель

Расширение команды DataGate для построения и оптимизации DWH / Lakehouse.

Обязанности

  • Разработка, поддержка и оптимизация ETL/ELT-пайплайнов.

  • Интеграция данных: БД, API, файловые хранилища, стриминг.

  • Обеспечение Data Quality: валидация, дедупликация, контроль полноты.

  • SQL tuning, партиционирование, индексация.

  • Настройка оркестрации, мониторинга и алертинга.

  • Документирование потоков данных.

  • Сбор требований от аналитиков, BI и ML-команд.

Требования

Обязательные:

  • Опыт работы: от 3 лет в Data Engineering.

  • Образование: Высшее (бакалавр).

  • SQL: Сложные запросы, оконные функции, оптимизация производительности.

  • Python: Написание скриптов обработки данных.

  • Базовое проектирование DWH (Star Schema, Snowflake).

  • Опыт работы с реляционными БД (PostgreSQL, MS SQL, Oracle).

  • Понимание работы API и Git.

Будет плюсом:

  • Оркестраторы: Airflow / Prefect.

  • Инструменты: dbt, Kafka, Spark Streaming.

  • Платформы: Databricks / Snowflake / BigQuery.

  • Подходы: Data Vault, Lakehouse, Data Governance.