Компания deeplay ищет Data Engineer.
Стек: PostgreSQL, ClickHouse, Python, Apache Airflow, GitHub, Docker, Kubernetes
Основные задачи:
- Поддержка текущего функционала продукта.
- Расширение и развитие функционала действующего продукта.
- Анализ логов и данных, выстраивание логических цепочек, построение и проверка гипотез.
- Создание и поддержка новых дата-пайплайнов.
- Работа с ClickHouse: написание и оптимизация средних/сложных SQL-запросов.
- Анализ, подготовка и обработка данных; обеспечение качества данных.
Что предстоит поддерживать и развивать:
- Десктопное кроссплатформенное ПО (Java 17+, Swing).
- Монолитное ПО с клиентской и серверной частями (взаимодействие посредством gRPC).
- Организация взаимодействия с БД (PostgreSQL, ClickHouse) посредством JDBC.
- Организация механик в многопоточном режиме (ExecutorService, CompletableFuture).
- Покрытие кода тестами (Mockito, JUnit).
- Аналитические запросы и большие объёмы данных (~60 TB).
Требования:
- Опыт работы в аналогичной роли от 3 лет.
- Знание теории реляционных БД, понимание логической и физической моделей БД.
- Опыт оптимизации сложных запросов и поиска проблем в системах под высокой нагрузкой.
- Опыт создания и поддержки ETL-процессов.
- Глубокий практический опыт разработки на Python (pandas, numpy).
- Опыт работы с Apache Airflow, самостоятельное создание DAG.
- Опыт работы с ClickHouse и написания нетривиальных SQL-запросов.
- Умение самостоятельно брать задачи, уточнять требования и доводить до результата; навык поиска оптимальных решений в условиях неопределённости.