Проект: производство табачных изделий.

Требования:

  • Опыт тестирования бэкенд-систем в Big Data.
  • Уверенное знание Python для написания автотестов и скриптов анализа данных.
  • Продвинутый SQL: оконные функции, CTE, оптимизация запросов; понимание различий между диалектами Trino/StarRocks и PostgreSQL.
  • Git и GitLab CI/CD, включая настройку пайплайнов запуска тестов.
  • Понимание архитектуры Data Lake / Data Lakehouse.
  • Опыт работы с S3 и форматами Parquet/ORC.
  • Базовое понимание Apache Spark или Flink.
  • Опыт работы с pytest, unittest, Grafana, Prometheus и PostgreSQL.

Желательно:

  • Опыт работы с Apache Airflow, понимание логики DAG и создание тестовых операторов.
  • Опыт использования инструментов Data Quality: Great Expectations, Deequ, Soda Core, dbt tests.
  • Знание протоколов Kafka.
  • Опыт работы с Docker/Kubernetes для развертывания тестовых окружений.
  • Понимание принципов ACID-транзакций в распределенных системах.
  • Опыт работы с Timeseries DB: InfluxDB, TimescaleDB.