Требования к кандидату на позицию Data Engineer (DWH)

Основные задачи

  • Разработка и сопровождение ETL/ELT-процессов
  • Интеграция данных из различных источников
  • Разработка и поддержка витрин данных и DWH
  • Оптимизация SQL-запросов и производительности пайплайнов
  • Мониторинг качества и корректности загрузок данных
  • Взаимодействие с аналитиками, BI-командой и Team Lead DWH

Обязательные требования

Базы данных

  • Практический опыт работы с:
    • Oracle Database
    • PostgreSQL
  • Уверенное знание SQL:
    • сложные JOIN
    • оконные функции
    • CTE
    • оптимизация запросов
    • аналитические функции
  • Понимание принципов построения DWH:
    • Star Schema
    • Snowflake Schema
    • основы Data Vault

ETL / Оркестрация

  • Опыт работы с Apache Airflow:
    • разработка и поддержка DAG
    • настройка зависимостей
    • мониторинг задач
  • Опыт разработки ETL/ELT-процессов

Разработка

  • Хорошее знание Python:
    • работа с данными
    • автоматизация процессов
    • интеграция с API
    • обработка файлов (CSV, JSON, XML)
  • Опыт работы с Git

Будет плюсом

  • Опыт работы с:
    • Kafka
    • Greenplum
  • Знание Linux
  • Опыт контейнеризации (Docker)
  • Понимание CI/CD процессов
  • Опыт работы с большими объемами данных

Ожидаемые компетенции

  • Внимательность к качеству данных
  • Аналитическое мышление
  • Умение разбираться в сложных интеграциях
  • Самостоятельность в решении технических задач
  • Навыки командной работы

Требования по опыту

Middle Data Engineer

  • Опыт работы от 2 лет
  • Опыт промышленной разработки ETL-процессов
  • Хорошее знание SQL и Python

Senior Data Engineer

  • Опыт работы от 4–5 лет
  • Опыт проектирования DWH и сложных пайплайнов
  • Опыт оптимизации производительности и архитектурных решений
  • Наставничество младших инженеров

Пример формулировки вакансии

Позиция: Data Engineer
Стек: Oracle, PostgreSQL, Airflow, Python
Команда: Data Engineering / DWH
Уровень: Middle / Senior
Тип занятости: Full-time