Duties
Проектирование, развёртывание и сопровождение отказоустойчивых хранилищ данных (Vertica, Trino, Hadoop);
Настройка и поддержка мониторинга и алертинга для хранилищ данных и инфраструктурных компонентов;
Автоматизация процессов эксплуатации и развёртывания инфраструктуры с использованием IaC;
Поддержка и развитие платформенных компонентов: кластеров, систем оркестрации, пайплайнов обработки данных, систем развёртывания;
Поддержка и оптимизация инфраструктуры в Yandex Cloud и на Bare Metal;
Работа с системами обработки данных: Spark, Airflow, Trino, JupyterHub;
Взаимодействие с командами Data Science, Data Engineering и Platform Engineering для обеспечения стабильной и масштабируемой инфраструктуры.
Requirements
Опыт автоматизации на любом языке программирования (у нас в основном python);
Опыт эксплуатации и оптимизации распределенных баз данных в production (репликация, шардирование, профилирование запросов, настройка отказоустойчивости) - Vertica, Greenplum, Mongo, Cassandra, Hive, Trino, etc - не заостряем внимание на конкретной бд, главное понимать архитектуру MPP, сильные и слабые стороны;
Знание принципов CI/CD и эксплуатации распределённых систем;
Опыт работы с IaC-инструментами (Terraform, Ansible, Puppet, Chef - любой).