Ищем Архитектора для проектирования и развития архитектуры продуктов Arenadata Hyperwave (ADH) и Arenadata Hyperwave Cloud (ADHC).
Подробнее о продуктах тут - https://docs.arenadata.io/ru/landing-adh/index.html
Что нужно делать:
- заниматься проектированием и развитием архитектуры Arenadata Hyperwave (ADH) - BigData-дистрибутива на базе экосистемы Apache: HDFS, YARN, Apache Ozone, Spark, Impala, Trino, Kyuubi, Flink;
- заниматься проектированием и развитием архитектуры Arenadata Hyperwave Cloud (ADHC) - k8s-native версии платформы с разделением storage и compute;
- проектировать интеграции compute-движков в k8s со stateful-слоем ADH;
- разрабатывать k8s-операторы для сервисов платформы (развёртывание, масштабирование, апгрейды, CRD, Helm-чарты, контроллеры);
- проектировать интеграции с Arenadata Streaming (Kafka, NiFi) и Arenadata Platform Security (Ranger, Kerberos, SSO) в гибридных конфигурациях ADH + K8s;
- проводить R&D-исследования и подготавливать PoC-решения по развитию продуктов;
- взаимодействовать с Technical Program Manager (TPM) и другими архитекторами для определения стратегии и плана действий по разработке единой платформы данных;
- помогать в оценке новых технологий и инструментов для работы с данными;
- составлять архитектурные документы и технические записки;
- защищать и обосновывать архитектурные решения;
- принимать непосредственное участие в процессах разработки и развития продуктов;
- участвовать в code review;
- проводить ревью пользовательской документации по продуктам.
Мы ждем, что вы:
- имеете 8 лет опыта в области инженерии данных, платформ данных и аналитики;
- умеете писать код на Java, Scala, Go, Python;
- имеете опыт практической работы с различными СУБД от 3-х лет;
- обладаете опытом проектирования распределенных, высоконагруженных систем;
- работали с экосистемой Apache и имеете опыт с компонентами хранения: HDFS, Apache Ozone;
- имеете опыт с распределёнными вычислениями на Apache Spark и понимаете его внутреннее устройство;
- работали с SQL-движками поверх Hadoop (Hive, Trino, Impala);
- имеете опыт работы с потоковой обработкой данных (Apache Kafka, Apache Flink);
- обладаете экспертизой в оркестрации пайплайнов (Apache Airflow);
- работали с табличными форматами Lakehouse (Apache Iceberg, Hudi, Delta Lake);
- имеете опыт с безопасностью Big Data-кластеров (Apache Ranger, Kerberos, TLS, интеграция с LDAP/AD);
- обладаете опытом работы с Kubernetes на уровне архитектуры и эксплуатации в проде;
- разрабатывали Kubernetes-операторы, CRD, Helm-чарты;
- запускали compute-движки в Kubernetes поверх внешнего stateful-слоя;
- знаете принципы распределённого хранения и вычислений;
- имеете опыт работы с Linux;
- обладаете опытом проведения декомпозиции задач разработки;
- настраивали CI/CD.
Будет плюсом:
- коммиты в open source;
- observability для Big Data (Prometheus, Grafana, OpenTelemetry, JMX exporters).
Условия:
- официальное трудоустройство по ТК РФ;
- возможность работать 100% удаленно или в офисе в Москве/Санкт-Петербурге;
- гибкое начало рабочего дня (09:00 - 10:00 по Москве);
- расширенный ДМС со стоматологией для сотрудника, компенсация 50% ДМС на детей;
- предоставляем оборудование для работы (ноутбук, монитор).