Требования:
- Знание SQL: индексы, функции, оптимизация и профилирование производительности.
- Опыт работы с реляционными базами данных: Postgres, Oracle, MySQL, MsSQL или DB2.
- Понимание или опыт работы со стеком S3, Trino, ClickHouse, Greenplum и Hive.
- Умение работать с Git, знание команд git pull, commit и push.
- Опыт работы с dbt и Cosmos.
- Понимание устройства Iceberg и форматов данных.
- Базовые навыки работы с данными на Python.
- Опыт использования систем ведения проектов и документации.
Задачи:
- Вести разработку согласно техническому заданию.
- Дорабатывать существующие витрины EDW и разрабатывать новые.
- Разрабатывать типовые потоковые интеграционные решения на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos и Flink.
- Поддерживать документацию платформы больших данных в актуальном состоянии.
- Предоставлять руководителю отчетность о своей деятельности.