Требования:
- Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
- Опыт работы с высоконагруженными распределёнными системами обработки и хранения данных на Hadoop.
- Практические навыки конфигурации и оптимизации Spark-приложений и управления ресурсами Spark.
- Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
- Навыки работы с контейнеризацией и оркестрацией в Kubernetes (K8s).
- Опыт проведения нагрузочного тестирования систем обработки данных.
- Экспертное владение SQL и навыками оптимизации сложных запросов; знание основ математической статистики, анализа данных и машинного обучения.
- Умение работать в распределённых системах и обеспечивать консистентность данных при автоматическом определении типов схем.
Стек технологий: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive), S3, Spark, Iceberg, Kafka, Python (Pandas, NumPy, Matplotlib), C#, SQL, Git, Jira, Kubernetes.
Задачи:
- Развивать интеграционную среду: разрабатывать потоки подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC.
- Создавать шаблоны в платформе управления метаданными для подключения ключевых типов СУБД: PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch и Tarantool.
- Проектировать Python-скрипты для автоматической генерации DDL/DML-запросов и Airflow DAG для процессов загрузки и обслуживания данных.
- Исправлять ошибки существующих потоков и разрабатывать Airflow DAG для обслуживания таблиц Iceberg с кастомными операторами, включая оптимизацию чтения при наличии большого количества delete-файлов.
- Дорабатывать витрину DMDC для полной поддержки возможностей каталога данных.
- Подготавливать и вести проектную документацию по результатам разработки.