Проект: миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache-стек.
Обязанности:
- Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код; написание и оптимизация SQL для витрин данных и ETL-процессов.
- Разработка DAG-ов в Airflow и пайплайнов в NiFi; работа с источниками Oracle и PostgreSQL и приемниками S3 и файловыми архивами.
- Разработка Spark-джобов на PySpark для больших объемов данных и интеграция с Kafka для потоковой передачи.
- Настройка мониторинга и отслеживание метрик, разбор инцидентов по качеству данных и ошибкам загрузки, code review.
Требования:
- Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache-стек.
- Глубокий SQL: оконные функции, сложные джойны, иерархические запросы; оптимизация для highload, партиционирование, индексы и explain plans.
- Oracle (PL/SQL), PostgreSQL, Greenplum и/или ClickHouse.
- Проектирование архитектур на Apache Spark (PySpark), NiFi и Airflow; Hadoop (HDFS) и Hive.
- Мониторинг ETL с Grafana/Prometheus или VictoriaMetrics.
- Опыт работы с биллинговыми системами; телеком-домен будет преимуществом.
Будет плюсом: Kafka Streams или Spark Streaming, Informatica PowerCenter, бинарные форматы хранения в Hadoop, знание различий Hive и Impala, Greenplum и PostgreSQL, ClickHouse и PostgreSQL, Patroni, S3-хранилища, КриптоПро или защищенные каналы передачи данных.
Формат: удаленно, full-time. Локация/гражданство: РФ.