Участие в миграции информационной системы телеком-оператора с Oracle/Informatica на Apache-стек.
Задачи:
- Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код.
- Написание и оптимизация SQL для витрин данных и ETL-процессов.
- Разработка DAG-ов в Airflow и пайплайнов в NiFi.
- Разработка Spark-джобов на PySpark для обработки больших объёмов данных.
- Интеграция с Kafka для потоковой передачи данных.
- Настройка мониторинга и отслеживание метрик.
- Разбор инцидентов, связанных с качеством данных и ошибками загрузки; code review.
Требования:
- Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache-стек.
- Глубокое знание SQL, включая оконные функции, сложные соединения и иерархические запросы; опыт оптимизации SQL для highload.
- Знание Oracle (PL/SQL), PostgreSQL, Greenplum и/или ClickHouse.
- Опыт проектирования архитектур на Apache Spark (PySpark), NiFi и Airflow.
- Знание Hadoop (HDFS) и Hive.
- Опыт мониторинга ETL с Grafana/Prometheus или VictoriaMetrics.
- Опыт работы с биллинговыми системами; опыт в телеком-домене будет преимуществом.
Будет плюсом: Kafka Streams или Spark Streaming, Informatica PowerCenter, бинарные форматы хранения в Hadoop, Patroni, S3-хранилища, КриптоПро или защищённые каналы передачи данных.
Условия: полная занятость, удалённая работа, оформление только как ИП. Проектная работа в телеком-сфере; часовой пояс МСК ± 3 часа.