Ищут инженера данных с сильными компетенциями в архитектуре данных и баз данных для планирования и внедрения инструментов хранения и обработки данных. Роль включает проектирование целевой архитектуры хранилищ, анализ потоков данных и выбор инструментов, проектирование пайплайнов, обеспечение качества данных и разработку интеграций.
Требования:
- От 4 лет опыта работы Data Engineer в разработке ПО.
- Опыт с Postgres, MSSQL, Trino, StarRocks, Cassandra и Redis; Apache Airflow, Kafka, Flink, Iceberg, Lakekeeper и S3.
- Опыт работы с CDC, batch processing, OLAP/OLTP, проектированием реляционных и колоночных моделей, стратегиями хранения данных и обеспечением consistency/integrity.
- Уверенное владение Python, включая написание DAG, кастомных операторов, hooks, sensors и интеграций.
- Навыки профилирования и оптимизации процессов, SQL-запросов и ресурсов кластеров.
- Опыт работы с Jira и Confluence, документирования технических решений и сопровождения заявок в Service Desk.
- Английский для чтения и написания технической документации.
Будет плюсом: InfluxDB, TimescaleDB, TDengine, Hadoop, YARN, Kubernetes, CI/CD для data-пайплайнов, DDD, event-driven архитектура и Apache NiFi.
Преимущества: участие в масштабном проекте цифровой трансформации и возможность видеть результаты работы на реальном производстве. Работа с опытной командой, включая Team Lead, Product Owner и Project Manager; возможности для инициативы и развития.