Проект: Крупная ритейл компания.
Локация/гражданство: любая. Формат: удаленно (доступность по МСК). Занятость: фулл тайм.
Требования:
- Знание принципов построения хранилищ данных
- Опыт работы с ClickHouse
- Опыт работы с Python от 3-х лет
- Понимание архитектур MPP систем
- Навыки Data Engineer: HDFS, YARN, Spark, Kafka, Nifi, Sqoop, Flume и т.д.
- Знание SQL (DDL, DML), опыт оптимизации запросов
- Опыт работы с Greenplum либо отличное знание PostgreSQL
- Опыт сопровождения и мониторинга информационных систем
- Навык работы с Git, Jira, Confluence
Задачи:
- Проектирование и разработка потоков данных на ETL/ELT инструментах
- Имплементация кастомных трансформаций
- Проектирование и построение прототипов, витрин
- Анализ производительности, масштабирование существующих систем
- Оптимизация SQL запросов и структур баз данных
- Разработка процедур на языке PL/pgSQL
- Развитие архитектуры DWH, анализ и выбор технологий и методологий
- Создание и актуализация базы знаний для пользователей DWH