Data Engineer (Hadoop, Scala)

Чем предстоит заниматься:

• Разрабатывать и оптимизировать ETL/ELT-конвейеры для обработки больших данных.
• Настраивать и администрировать Hadoop/Spark-инфраструктуру (HDFS, YARN, Hive, HBase).
• Оптимизировать распределённые вычисления и запросы.
• Работать с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).
• Участвовать в проектировании и масштабировании архитектуры данных.
• Автоматизировать процессы с использованием DevOps-практик (Docker, CI/CD).

Пожелания к кандидатам:

• Высшее или неоконченное высшее образование.
• Опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop).
• Глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet).
• Опыт оптимизации производительности распределённых систем.
• Опыт работы с потоковой обработкой (Kafka, Spark Streaming).
• Навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB).

Будет плюсом:

• Опыт с PySpark, Flink, Airflow.
• Знание Elasticsearch, ClickHouse, Vertica.
• Навыки настройки кластеров и инфраструктуры.

Полная занятость, график 5/2. Формат работы: удалённо или гибрид.