Обязанности:

  • Разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных.
  • Настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase).
  • Оптимизация распределённых вычислений и запросов.
  • Работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).
  • Участие в проектировании и масштабировании архитектуры данных.
  • Автоматизация процессов с использованием DevOps-практик (Docker, CI/CD).

Требования:

  • Высшее или неоконченное высшее образование.
  • Опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop).
  • Глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet).
  • Опыт оптимизации производительности распределённых систем.
  • Опыт работы с потоковой обработкой (Kafka, Spark Streaming).
  • Навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB).

Будет плюсом: опыт с PySpark, Flink, Airflow; знание Elasticsearch, ClickHouse, Vertica; навыки настройки кластеров и инфраструктуры.

Условия: полная занятость, график 5/2, удалённый или гибридный формат работы.