Команда Big Data Platform ищет сеньора, который будет отвечать за Big Data-инфраструктуру международного контура. Устаревшие технологии активно выводятся из эксплуатации, инфраструктура работает на свежих версиях. Среди текущих задач — адаптация платформы к тысячам небольших таблиц и большому количеству мелких файлов в Ozone S3, а также переход от общих ресурсов к квотам для каждого бизнес-юнита.
Обязанности:
- Деплоить, обновлять и эксплуатировать сервисы Big Data-платформы: HDFS, Ozone S3, Iceberg и другие.
- Перестраивать работу кластера под тысячи небольших таблиц и файлов.
- Внедрять квоты на вычисления и хранение для бизнес-юнитов.
- Мигрировать с дефолтного Iceberg-каталога на Lakekeeper или Gravitino.
- Улучшать мониторинг и алертинг.
Требования:
- От 5 лет опыта проектирования, внедрения и эксплуатации Big Data-платформ.
- Практический опыт с HDFS/Hadoop: деплой, апгрейды и устранение проблем.
- Опыт самостоятельного деплоя и эксплуатации S3-хранилища; Ozone будет плюсом, также подойдут MinIO и аналоги.
- Опыт работы с Apache Iceberg.
- Английский для чтения технической документации.
- Возможность работать по московскому времени с разницей не более 3 часов.
Будет плюсом: опыт с Trino, Kafka, Flink, REST-каталогами для Iceberg (Lakekeeper, Gravitino, Polaris и другими), а также с AI-инструментами, агентами и автоматизацией задач.
Условия: удалённая работа и гибкий график; большая зона ответственности и возможность влиять на архитектуру; современный стек без legacy; выстроенный онбординг, корпоративная школа английского, программы обучения, компенсация внешних курсов и конференций, корпоративные цены на отели и дополнительный оплачиваемый выходной MyTime Day Off. Рассматривают кандидатов вне России и Беларуси.