Ищем в PlaysDev Data Engineer для развития платформы данных: оптимизация процессов, внедрение стандартов и развитие архитектуры.
Задачи ❗️
•Развитие и доработка функционала Data Platform
•Проработка и реализация новых подходов к разработке пайплайнов
•Оптимизация процессов загрузки и обработки данных
•Проектирование сложных интеграций и потоков данных
•Формирование и развитие стандартов разработки (логирование, структура DAG, подходы к разработке)
•Контроль качества реализации пайплайнов
•Ведение и развитие технической документации
•Обучение и менторинг команды
•Участие в архитектурных решениях
Требования ❗️
•Экспертный SQL
•Продвинутый Python
•Глубокий опыт работы с Apache Airflow
•Опыт работы с MPP СУБД (Greenplum или аналогами)
•Опыт проектирования ETL/ELT процессов
•Понимание архитектуры Data Platform / DWH
•Опыт оптимизации производительности систем
•Понимание Data Governance и Data Quality
тг: