Описание
Ищем специалиста для построения и администрирования системы данных: интеграции между системами, настройка потоков данных, подготовка витрин и обеспечение качества данных.
Обязанности:
- настройка интеграции данных между базами и системами;
- разработка ETL/ELT процессов (загрузка, очистка, трансформация данных);
- работа с API внешних систем;
- построение витрин данных (data marts);
- организация хранения данных (DWH);
- настройка регулярного обновления данных (scheduler, cron, очереди);
- обеспечение качества и целостности данных;
- оптимизация SQL-запросов и производительности БД;
- взаимодействие с backend-разработчиками;
- уверенное знание SQL (обязательно);
- опыт работы с PostgreSQL или другими СУБД;
- понимание ETL/ELT процессов;
- опыт интеграции данных (API, базы, файлы);
- понимание архитектуры данных (OLTP / OLAP);
- опыт построения витрин данных;
Будет плюсом:
- опыт работы с DWH / ClickHouse;
- знание Python (для обработки данных);
- опыт работы с очередями (Kafka, RabbitMQ);
- опыт построения data pipelines;
Мы ожидаем:
- стабильные интеграции между системами;
- подготовленные и чистые данные для аналитики;
- высокая производительность работы с данными;