Компания deeplay приглашает Data Engineer. Работа над системами с большими объёмами данных (~60 TB), поддержка и развитие ETL и аналитических процессов.
Предстоит поддерживать и развивать:
- Десктопное кроссплатформенное ПО (Java 17+, Swing)
- Монолитное ПО: клиентская и серверная части (взаимодействие посредством gRPC)
- Отсутствие фреймворка — используются собственные наработки
- Взаимодействие с БД (PostgreSQL, ClickHouse) посредством JDBC без дополнительных библиотек
- Организация многопоточных механизмов с помощью ExecutorService, CompletableFuture
- Покрытие кода тестами (Mockito, JUnit)
- Аналитические запросы и работа с большими объёмами данных (~60 TB)
Требования:
- Опыт работы в аналогичной роли от 3 лет
- Глубокие знания PostgreSQL: системные каталоги, статистика, индексы, партиционирование, наследование, foreign tables, EXPLAIN ANALYZE, cost model, pg_stat_statements, pg_stat_activity, pg_locks, индексные стратегии, мониторинг блокировок
- Знание теории реляционных БД, понимание логической и физической моделей
- Опыт оптимизации сложных SQL-запросов; сложные запросы с CTE, window functions, lateral joins, динамический SQL, хранимые процедуры, триггеры, функции, query rewriting; понимание планов выполнения
- Опыт создания и поддержки ETL-процессов
- Глубокий практический опыт разработки на Python (pandas, numpy)
- Опыт работы с Apache Airflow, самостоятельное создание DAG
- Умение самостоятельно брать задачи и доводить до результата; поиск и устранение проблем в системах под высокой нагрузкой
Будет плюсом:
- Bash (скрипты для автоматизации)
- Linux: уверенный уровень командной строки, systemd, cron, bash scripting
- Понимание алертинг-стратегии
- Опыт работы с ClickHouse
- Docker (базовое понимание)
- Ansible/Terraform (базовое понимание для автоматизации)
- Jupyter notebooks для исследовательского анализа
- pgBadger для детального анализа
- Мониторинг БД: анализ connection pools (PgBouncer), performance troubleshooting, анализ wait events
Условия:
- Гибкий подход к формату и месту работы — можно работать удалённо или в офисах в Омске, Новосибирске и Санкт-Петербурге
- Корпоративная культура, возможность влиять на процессы и открытая внутренняя политика