Enfint ищет Senior Data Engineer для работы в офисе в Дубае.
Обязанности:
- Собирать и анализировать бизнес- и технические требования
- Проводить исследовательский анализ данных (EDA) для оценки качества и пригодности данных
- Загружать, обрабатывать и преобразовывать крупномасштабные наборы данных
- Проектировать и внедрять высокопроизводительные, безопасные и масштабируемые пайплайны обработки данных
- Применять методы feature engineering для поддержки моделей машинного обучения
- Оптимизировать Spark-задачи и процессы распределённой обработки данных
- Взаимодействовать со стейкхолдерами и кросс-функциональными командами в Agile-среде
Требования:
- Свободный английский язык
- Более 6 лет релевантного опыта в Data Engineering и ML pipeline development
- Python
- Apache Spark
- Hadoop ecosystem
- SQL
- Git
- Опыт работы с Big Data архитектурами и распределёнными системами
- Опыт работы в Agile/Scrum
Условия:
- Офис в Дубае, полная занятость
- Помощь компании с расходами на переезд (при необходимости)
- Медицинская страховка
- Возможность работать с передовыми технологиями в инновационной среде