Проект: производство табачных изделий.
Требования:
- Опыт тестирования бэкенд-систем в Big Data.
- Уверенное знание Python для написания автотестов и скриптов анализа данных.
- Продвинутый SQL: оконные функции, CTE, оптимизация запросов; понимание различий между диалектами Trino/StarRocks и PostgreSQL.
- Git и GitLab CI/CD, включая настройку пайплайнов запуска тестов.
- Понимание архитектуры Data Lake / Data Lakehouse.
- Опыт работы с S3 и форматами Parquet/ORC.
- Базовое понимание Apache Spark или Flink.
- Опыт работы с pytest, unittest, Grafana, Prometheus и PostgreSQL.
Желательно:
- Опыт работы с Apache Airflow, понимание логики DAG и создание тестовых операторов.
- Опыт использования инструментов Data Quality: Great Expectations, Deequ, Soda Core, dbt tests.
- Знание протоколов Kafka.
- Опыт работы с Docker/Kubernetes для развертывания тестовых окружений.
- Понимание принципов ACID-транзакций в распределенных системах.
- Опыт работы с Timeseries DB: InfluxDB, TimescaleDB.