Требования:

  • Релевантный опыт от 5 лет.
  • Опыт тестирования бэкенд-систем в Big Data.
  • Уверенное знание Python для написания автотестов и скриптов анализа данных.
  • Продвинутый уровень SQL: оконные функции, CTE, оптимизация запросов; понимание различий диалектов Trino/StarRocks и PostgreSQL.
  • Git и GitLab CI/CD, включая настройку пайплайнов запуска тестов.
  • Понимание архитектуры Data Lake / Data Lakehouse; опыт работы с S3 и форматами Parquet/ORC.
  • Базовое понимание Apache Spark или Flink.
  • Опыт работы с pytest, unittest и PostgreSQL.
  • Опыт использования Grafana и Prometheus для анализа метрик пайплайнов.

Дополнительные требования:

  • Опыт работы с Apache Airflow: понимание логики DAG, создание тестовых операторов.
  • Опыт использования инструментов Data Quality: Great Expectations, Deequ, Soda Core или dbt tests.
  • Знание протоколов Kafka.
  • Опыт работы с Docker/Kubernetes для развертывания тестовых окружений.
  • Понимание принципов ACID-транзакций в контексте распределенных систем.
  • Опыт работы с Timeseries DB: InfluxDB или TimescaleDB.