Вакансия DA/DE в области DWH/BI.

Обязанности:

  • Принимать, анализировать и формализовать требования заказчиков, уточнять неясные моменты и оценивать реализуемость решений.
  • Анализировать влияние изменений на процессы, модели данных, таблицы и связанные компоненты.
  • Разрабатывать и согласовывать концептуальные и логические решения.
  • Проектировать потоки обработки и трансформации данных с использованием Apache Spark и работать с данными в S3 и Apache Iceberg.
  • Писать SQL-код в Apache Spark для прототипирования, проверки гипотез и подтверждения логики расчетов и моделей данных.
  • Принимать и тестировать патчи на тестовых, предпродуктивных и продуктивных стендах; проверять Spark-задачи, SQL-логику, загрузки в S3 и таблицы Iceberg.
  • Подготавливать и контролировать выпуск доработок в продуктивный контур.

Требования:

  • Опыт работы от 2 лет на позициях DA/DE в области DWH/BI.
  • Практический опыт работы с Apache Spark, включая оптимизацию Spark-задач и SQL-запросов на больших объемах данных.
  • Продвинутое знание SQL: joins, оконные функции, CTE, агрегации, подзапросы и оптимизация запросов.
  • Опыт работы с S3 и Apache Iceberg либо понимание его ключевых возможностей.
  • Понимание DWH, ETL/ELT-процессов, нормализации данных и организации потоков обработки.
  • Опыт подготовки технической документации (BRD, FSD), тестирования данных и работы с Git.
  • Системное аналитическое мышление, коммуникабельность, самостоятельность, ответственность и внимание к деталям.

Будет плюсом: знание Oracle, Greenplum, Python, ClickHouse, Airflow, SuperSet или FineBI; опыт в финансовой сфере; понимание Agile, Scrum, Kanban, data lake и lakehouse-архитектуры.