В команду Дата-сервисы VK Tech требуется дата‑инженер.

Задачи:

  • разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow;
  • оптимизировать запросы и распределённые вычисления под ClickHouse и YT;
  • мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость;
  • помогать аналитикам с оптимизацией их SQL-запросов и структур данных;
  • проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD);
  • участвовать в миграции вычислительной платформы с YT на Hadoop/Spark.

Требования:

  • опыт разработки и поддержки ETL-процессов на Python + Airflow;
  • уверенное знание SQL (JOIN, оконные функции, CTE, агрегации);
  • понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds;
  • опыт оптимизации запросов в распределённых системах (ClickHouse или Spark);
  • знание Git (ветки, коммиты, pull requests, code review);
  • умение читать и анализировать чужой код.