Middle Data Engineer в Holocron
Компания: 2ГИС
Кого мы ищем:
- Опыт работы с данными — от junior+ до уверенного middle;
- Понимание, как устроены ETL/ELT-процессы;
- Умение писать SQL и читать логику отчётов без боли;
- Знакомство с Apache Spark, Kafka, ClickHouse — будет плюсом;
- Навыки программирования на одном из языков (например, Scala или Python);
- Желание развиваться в направлении построения дата-инфраструктуры.
Что предстоит делать:
- Расширять существующие форматы данных;
- Разрабатывать и поддерживать ETL/ELT-процессы;
- Автоматизировать batch-расчёты;
- Подключать новые источники данных;
- Участвовать в миграции пайплайнов с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse);
- Работать с большими объемами данных и высоконагруженными Kafka-топиками.