Развивающийся продукт с масштабной WEB-платформой и интерактивным Telegram-ботом/ Mini App ищет Data Engineer для масштабирования аналитической инфраструктуры и обеспечения качественных данных для аналитиков.
Стек: Python, Airflow 2+, dbt Core, ClickHouse, PostgreSQL, Docker, GitLab
Обязанности:
- Разрабатывать и поддерживать ETL/ELT-процессы на базе Airflow и dbt Core
- Интегрировать новые источники данных: PostgreSQL, внешние API и сервисы
- Развивать хранилище данных на ClickHouse и поддерживать аналитические витрины
- Оптимизировать SQL-запросы и производительность пайплайнов
- Поддерживать и развивать инфраструктуру аналитической платформы (Docker, Airflow, dbt)
- Взаимодействовать с аналитиками для реализации витрин, метрик и источников данных
- Участвовать в расследовании инцидентов, связанных с качеством данных и работой пайплайнов
- Поддерживать техническую документацию и участвовать в передаче знаний внутри команды
Требования:
- Опыт на позиции инженера данных от 3 лет
- Уверенное знание SQL и опыт работы с аналитическими СУБД
- Практический опыт с ClickHouse: проектирование таблиц, выбор движков, партиционирование, оптимизация запросов
- Опыт разработки и поддержки ETL/ELT-процессов; умение выбирать способ интеграции источника данных и проектировать загрузки
- Опыт работы с Apache Airflow 2+: разработка, поддержка и отладка DAG'ов
- Опыт работы с dbt Core
- Хорошее знание Python
- Опыт работы с PostgreSQL и инкрементальными выгрузками
- Опыт интеграции внешних REST API
- Понимание контейнеризации и опыт с Docker / Docker Compose
- Умение самостоятельно декомпозировать задачи и доводить их до результата
Будет плюсом:
- Опыт с Airflow 3+
- Опыт работы с BigQuery
- Опыт с Google Analytics / GA4
- Опыт с облачными платформами (GCP, Yandex Cloud, AWS)
- Понимание базовых принципов работы блокчейн-сетей и транзакционных данных
- Опыт использования AI-инструментов для разработки и сопровождения кода
Условия: удалённая работа; часовой пояс MSK.