Т-Банк ищет Дата-инженера (Spark).
Обязанности:
- Анализировать работу существующих Spark-процессов, искать проблемные места и давать рекомендации по их улучшению
- Вырабатывать и документировать лучшие практики Iceberg + Spark для сообщества дата-инженеров
- Развивать алгоритм выделения ресурсов для ETL-процессов на Spark
- Искать и реализовывать стратегические меры, которые улучшат производительность ETL-процессов на Spark
Требования:
- У вас есть промышленный опыт реализации ETL-процессов
- Есть опыт анализа данных, знаете математическую статистику
- Глубоко понимаете архитектуру хранилищ данных DWH и озер данных DLH
- Знаете на уверенном уровне принципы распределенных данных и вычислений
- Отлично разбираетесь в Spark