О команде: Мы строим фундамент для продуктовой разработки Авито — внутреннюю платформу данных. Эта роль — для тех, кто уверенно чувствует себя и в backend-разработке, и в data engineering.
Вам предстоит: управлять командой инженеров: code review, менторинг, развитие людей, архитектурные решения;повышать observability и контролируемость загрузок: выстраивать мониторинг, алертинг, SLO/SLI для пайплайнов, чтобы любые отклонения обнаруживались быстро и предсказуемо;внедрять shift-left Data Quality: автоматические проверки на этапах загрузки, валидация контрактов данных, предотвращение попадания некачественных данных в витрины;развивать self-service и автоматизации: улучшать DSL-инструментарий, снижать порог входа для внутренних пользователей, убирать ручные операции;проектировать и развивать микросервисы платформы (DSL-транслятор, оркестратор нового поколения, сервисы observability);участвовать в миграции на Trino: принимать архитектурные решения, проводить ревью моделей данных и ETL/ELT-логики, управлять рисками.
Мы ждём, что вы: обладаете сильным бэкграундом в backend-разработке (микросервисная архитектура, паттерны проектирования, API, контейнеризация, CI/CD);имеете опыт в data engineering: проектирование ETL/ELT-пайплайнов, работа с MPP-хранилищами (Vertica, Trino, ClickHouse, Greenplum и т.п.), продвинутый SQL, понимание моделей данных (3НФ, Data Vault, 6НФ — хотя бы на уровне концепций); имеете опыт обеспечения качества данных и мониторинга пайплайнов;умеете расследовать нестабильность сложных систем и находить корневые причины;обладаете опытом руководства командой разработки или data-инженеров от 1 года: техническое лидерство, управление поставкой, менторинг, найм;умеете принимать архитектурные решения, балансируя долгосрочные цели платформы и бизнес-ценность;обладаете навыками управления процессами: Kanban/Scrum, цикл обратной связи, работа с продуктовым бэклогом.
Будет здорово, если вы: имеете практический опыт с 6-й нормальной формой или якорным моделированием;обладаете глубокими знаниями Vertica или Trino (эксплуатация, оптимизация запросов);имеете опыт разработки DSL, компиляторов/трансляторов (ANTLR, Xtext);работаете с современными оркестраторами (Temporal, Cadence, Airflow);участвовали в миграциях аналитических хранилищ;обладаете опытом с потоковой обработкой (Kafka, Spark Streaming, Flink).
Работа у нас — это: возможность реализовать свои идеи в проекте с многомиллионной аудиторией;талантливая команда, готовая поддержать ваши инициативы;мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;прозрачная система премий, достойная зарплата — размер обсудим на собеседовании;личный бюджет на обучение, который можно тратить на книги, курсы и конференции;забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист; замечательный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.