Проект ВТБ по созданию оперативной отчётности на основе данных из более чем 250 источников. Требуется оформление на часть ставки в штат заказчика для получения доступов.
Задачи:
- Собирать и формализовать требования заказчиков, приоритизировать их и выявлять противоречия.
- Согласовывать с аналитиками систем-источников маппинги, SLA, качество данных, форматы и сроки поставки.
- Анализировать модели данных источников: выявлять сущности, ключи, временные метки, правила актуальности и источники истины.
- Готовить прототипы витрин, оценивать трудоёмкость и риски реализации.
- Ставить задачи разработчикам, включая S2T, с критериями приёмки, примерами данных и граничными случаями.
- Участвовать в тестировании, валидировать результаты, сравнивать их с эталоном и фиксировать дефекты.
- Работать с инцидентами: локализовывать проблемы в данных, готовить выгрузки и запросы, взаимодействовать с владельцами источников.
Обязательные требования:
- Уверенное владение SQL и PostgreSQL: JOIN, агрегации, оконные функции; умение читать и понимать сложные хранимые процедуры и функции.
- Практический опыт работы с Apache Airflow: DAG-и, зависимости, мониторинг, обработка ошибок и параметризация.
- Понимание Kafka: топики, партиции, оффсеты, гарантии доставки; опыт интеграции потоковых данных в витрины и отчётность.
- Опыт проектирования витрин данных, понимание нормализации и денормализации, суррогатных ключей, SCD, мастер- и транзакционных данных.
- Умение документировать требования, схемы данных, маппинги и S2T, описывать сценарии и граничные случаи, готовить кейсы тестирования, ПМИ и протоколы ПСИ.
- Опыт тестирования функциональности, валидации данных и работы с инцидентами 3-й линии, включая анализ корневых причин.
- Обязательное знание предметных областей: кредиты, страхование и процессинг.
- Структурность, коммуникабельность, ориентация на результат и проактивность.