Ищет DevOps / MLOps Engineer для поддержки и развития корпоративной Data-платформы.

Задачи:

  • Поддержка работоспособности платформы: Airflow, S3, базы данных, Spark.
  • Настройка доступов и подключений в DataLens.
  • Миграция с Greenplum на Spark + Iceberg (Lakehouse).
  • Изоляция Spark-нагрузок в Kubernetes.
  • Настройка мониторинга и алертинга.
  • Восстановление Airflow и ClickHouse после сбоев.

Требования:

  • 4+ года опыта в DevOps и опыт эксплуатации Kubernetes в production.
  • Опыт работы со Spark: Spark Operator, Driver/Executor, Spark History Server.
  • Опыт эксплуатации Airflow: Metadata DB, восстановление, миграции.
  • Понимание Lakehouse (S3 + Iceberg + Spark), опыт миграций DWH.
  • Опыт с ClickHouse, Greenplum, PostgreSQL, Terraform, Ansible, GitLab CI/CD, ArgoCD, Prometheus, Grafana, ELK/EFK.
  • Знание Python, Bash, SQL и понимание безопасности: Keycloak, IAM, Vault.

Будет плюсом:

  • Опыт с Yandex Data Proc, Google Dataproc или AWS EMR.
  • Опыт с Apache Paimon, Nessie, Trino, Impala, MLflow, JupyterHub или Label Studio.
  • Опыт использования ИИ для инфраструктурных задач.

Условия: удалённая работа по графику 8:00–17:00 МСК, полная занятость; оформление в штат на 0,01 ставки в случае старта.