Digital Сhief- это дочерняя компания Альфа-банка, которой уже более 20 лет.

Компания специализируется на e-commerce разработке полного цикла: интернет-магазины, web-порталы, личные кабинеты, маркетплейсы, платформы электронной коммерции.

Сейчас мы находимся в поиске инженера по данным в команду Whoisblogger (WIB) c коммерческим опытом от 2-х лет.

Обязанности:

  • Разработка DAG'ов в Apache Airflow для автоматизации процессов обработки данных
  • Написание SQL запросов для ETL/ELT процессов на Trino
  • Написание ETL/ELT-скриптов на Python
  • Интеграция с различными источниками данных: API, БД (PostgreSQL, ClickHouse, Trino), Kafka, S3
  • Очистка, трансформация и агрегация данных
  • Мониторинг и поддержка пайплайнов, обработка ошибок и алертинг
  • Оптимизация производительности загрузок и запросов
  • Работа с хранилищами данных и Data Lake

Мы рассматриваем SQL как основной рабочий инструмент Data Engineer.

Важно:

  • уверенное владение SQL
  • понимание оконных функций
  • сложные JOIN’ы
  • агрегаты и аналитические запросы
  • оптимизация запросов
  • понимание особенностей распределённых вычислений
  • опыт работы с большими таблицами и объёмами данных

Python

  • уверенное владение Python
  • написание поддерживаемого кода
  • работа с API, файлами и обработкой данных
  • понимание принципов построения ETL-процессов

Airflow

  • разработка и поддержка DAG’ов
  • понимание orchestration-процессов
  • мониторинг и диагностика пайплайнов
  • работа с зависимостями и расписаниями
Будет плюсом:
  • опыт работы с Trino / Presto
  • ClickHouse
  • Spark
  • опыт построения data warehouse
  • опыт работы с данными социальных сетей
  • опыт оптимизации распределенных SQL-запросов
  • понимание Data Quality и Data Governance

Что мы предлагаем:

  • Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования
  • Полностью удаленный формат

  • Возможность работать в современной команде, используя современный стек технологий

  • Дружелюбная атмосфера и команда лучших профессионалов, которые готовы поддерживать на всех уровнях

  • Оформление согласно ТК РБ

*Вакансия планируется к созданию