Omega Solutions. Проект: Ритейл.
Требования:
- Общее представление о стеке технологий Lakehouse
- Понимание различия работы между BigData/Lakehouse и с данными обычного размера
- Знание SQL (индексы, функции, оптимизация, профилирование производительности)
- Знание языков программирования: Java, Python
- Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL и т.п.)
- Умение работать с Git
- Опыт работы с DBT, Cosmos, Ni-Fi
- Опыт разработки на Spark
- Навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore
- Понимание особенностей Trino
- Понимание форматов данных: Iceberg, Parquet, Avro
- Понимание работы с minio или другим S3-совместимым хранилищем
- Опыт разработки нетиповых интеграций (включая SAP)
- Опыт разработки near-realtime потоков (Flink, Debezium)
- Опыт оптимизации высоконагруженных потоков и работы с инструментами Observability (grafana, victoria metrics, zabbix)
Задачи:
- Разработка, реализация и поддержка интеграционных потоков и витрин-данных на стеке: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
- Разработка нетиповых интеграций (в т.ч. SAP)
- Системная разработка переиспользуемых шаблонов обработки данных
- Проектирование сложных решений (C2/DD)
- Реагирование на инциденты и выполнение типовых задач в срок
- Поддержание документации интеграционных решений платформы больших данных
- Предоставление отчетности руководителю
Условия:
- Оформление по ИП
- Удаленная работа из РФ, РБ
- Гибкий график, оплата за фактически отработанное время
- Дружелюбная атмосфера, участие в интересных проектах без микроменеджмента