Требования:
- Релевантный опыт от 5 лет.
- Опыт тестирования бэкенд-систем в Big Data.
- Уверенное знание Python для написания автотестов и скриптов анализа данных.
- Продвинутый уровень SQL: оконные функции, CTE, оптимизация запросов; понимание различий диалектов Trino/StarRocks и PostgreSQL.
- Git и GitLab CI/CD, включая настройку пайплайнов запуска тестов.
- Понимание архитектуры Data Lake / Data Lakehouse; опыт работы с S3 и форматами Parquet/ORC.
- Базовое понимание Apache Spark или Flink.
- Опыт работы с pytest, unittest и PostgreSQL.
- Опыт использования Grafana и Prometheus для анализа метрик пайплайнов.
Дополнительные требования:
- Опыт работы с Apache Airflow: понимание логики DAG, создание тестовых операторов.
- Опыт использования инструментов Data Quality: Great Expectations, Deequ, Soda Core или dbt tests.
- Знание протоколов Kafka.
- Опыт работы с Docker/Kubernetes для развертывания тестовых окружений.
- Понимание принципов ACID-транзакций в контексте распределенных систем.
- Опыт работы с Timeseries DB: InfluxDB или TimescaleDB.