Компания: Т-Банк
Позиция: Дата-инженер — Spark
Обязанности:
- Анализировать работу существующих Spark-процессов, искать проблемные места и давать рекомендации по их улучшению
- Вырабатывать и документировать лучшие практики Iceberg + Spark для сообщества дата-инженеров
- Развивать алгоритм выделения ресурсов для ETL-процессов на Spark
- Искать и реализовывать стратегические меры, которые улучшат производительность ETL-процессов на Spark
Требования:
- Промышленный опыт реализации ETL-процессов
- Опыт анализа данных, знание математической статистики
- Глубокое понимание архитектуры хранилищ данных DWH и озер данных DLH
- Уверенное знание принципов распределенных данных и вычислений
- Отличное знание Spark