Проект для табачной компании.
Требования:
- Уверенное знание Python и продвинутый SQL: оконные функции, CTE, оптимизация запросов, понимание различий диалектов.
- Опыт работы с PostgreSQL, Git, GitLab CI/CD, pytest и unittest.
- Понимание архитектуры Data Lake/Lakehouse, опыт работы с S3 и форматами Parquet/ORC.
- Базовое понимание Apache Spark или Flink.
- Опыт работы с Grafana и Prometheus.
- Умение отслеживать движение данных от источника до витрины, находить ошибки трансформаций и диагностировать их причины.
Будет плюсом: Airflow; Great Expectations, Deequ, Soda Core или dbt tests; Kafka; Docker/Kubernetes; понимание ACID-транзакций в распределённых системах; InfluxDB или TimescaleDB.
Задачи:
- Разработка и поддержка автотестов для ETL/ELT-процессов, включая Airflow DAGs и Spark/Flink jobs.
- Внедрение и настройка правил качества данных: целостность, полнота, уникальность и консистентность на этапах ODS, DWD и DWS.
- Валидация SQL-запросов и результатов вычислений в Trino, StarRocks и ClickHouse.
- Тестирование потоковой обработки в Kafka и Flink, включая потерю и повторную доставку сообщений, задержки и сценарии at-least-once/exactly-once.
- Интеграционное тестирование компонентов Lakehouse: Iceberg, Lakekeeper и S3.
- Нагрузочное тестирование запросов и пайплайнов на больших объёмах данных.
- Разработка фреймворков для автоматизированного регрессионного тестирования данных.
Условия: удалённая работа в РФ, полная занятость.