Ищут Senior+/TeamLead Data Engineer. Удалённая работа, полная занятость.
Требования:
- Опыт работы Data Engineer от 4 лет в разработке ПО.
- Уверенная работа с Postgres и MSSQL; настройка и оптимизация OLAP-движков Trino и StarRocks, а также Cassandra и Redis.
- Практический опыт с Apache Airflow: написание DAG, кастомных операторов, hooks и sensors; опыт с Apache Kafka (producer/consumer) и Apache Flink (стриминговые джобы, состояние и чекпоинты).
- Опыт с Apache Iceberg, архитектурой lakehouse, Lakekeeper и объектным хранилищем S3.
- Опыт реализации CDC для синхронизации данных между системами и организации обработки данных для OLAP/OLTP с использованием batch processing и CDC.
- Глубокие знания архитектуры данных и баз данных: нормализация и денормализация, проектирование реляционных и колоночных моделей, lifecycle, retention и versioning.
- Уверенное владение Python; оптимизация SQL-запросов, профилирование процессов и настройка ресурсов кластеров.
- Опыт организации хранения данных для OLAP/OLTP с учётом consistency и integrity; понимание интеграционных паттернов и их характеристик (3V+).
- Владение Jira и Confluence, опыт работы с сервис-деском, структурирования требований и документирования технических решений.
- Русский — свободно; английский — чтение и написание технической документации.
Будет плюсом:
- Опыт с InfluxDB, TimescaleDB, TDengine и другими time-series базами данных.
- Опыт эксплуатации Hadoop, YARN и Kubernetes в production.
- Продвинутый SQL: оптимизация сложных запросов, window functions и CTE.
- CI/CD для data-пайплайнов, понимание DDD и event-driven архитектуры, опыт с Apache NiFi.