Data Engineer (ETL Migration)

Участие в миграции информационной системы телеком-оператора на Apache-стек.

Задачи:

• Миграция ETL-системы с Oracle/Informatica на Apache-стек: S3, Airflow, NiFi, Kafka и Greenplum.
• Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код.
• Написание и оптимизация SQL для витрин данных и ETL-процессов.
• Разработка DAG-ов в Airflow и пайплайнов в NiFi с источниками Oracle и PostgreSQL и приемниками S3 и файловыми архивами.
• Разработка Spark-джобов на PySpark для больших объемов данных.
• Интеграция с Kafka для потоковой передачи данных.
• Настройка мониторинга и отслеживание метрик.
• Разбор инцидентов по качеству данных и ошибкам загрузки, проведение code review.

Обязательные требования:

• Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache-стек.
• Глубокое знание SQL: оконные функции, сложные джойны, иерархические запросы.
• Опыт оптимизации SQL для highload: партиционирование, индексы, explain plans.
• Oracle (PL/SQL), PostgreSQL, Greenplum и/или ClickHouse.
• Проектирование архитектур на Apache Spark (PySpark), NiFi и Airflow.
• Hadoop (HDFS), Hive, Grafana/Prometheus или VictoriaMetrics.
• Опыт работы с биллинговыми системами; желателен опыт в телеком-домене.

Будет преимуществом: Kafka Streams или Spark Streaming, Informatica PowerCenter, бинарные форматы хранения в Hadoop, знание различий Hive и Impala, Greenplum и PostgreSQL, ClickHouse и PostgreSQL, Patroni, S3-хранилища, КриптоПро или защищенные каналы передачи данных.

Условия: удаленная работа, локация — РФ, требуется гражданство РФ. Уровень: Middle+ / Senior.