ООО "ОДСС" приглашает на позицию Data Engineering Team Lead.

Условия: формат работы — удаленно; локация — РФ; оформление по ТК РФ; ЗП: от от 220 - 280 т.р.

Проект: крупное озеро данных (Data Lake) со сложными сценариями приёма и обработки данных из множества источников. Проект на старте — нет тяжёлого легаси, много пространства для технических экспериментов и выбора оптимальных решений.

Стек: PostgreSQL, Python 3, Selenium, Dagster, DuckDB, GitLab, Telegram.

Чем предстоит заниматься:

  • руководить командой дата-инженеров (код-ревью, постановка задач, развитие)
  • проектировать конвейеры и инфраструктуру данных
  • разрабатывать и поддерживать парсеры (PDF, doc, docx, xls, xlsx)
  • автоматизировать обработку и преобразование данных
  • настраивать мониторинг и отладку конвейеров

Требования:

  • опыт руководства командой (формального или неформального) — от 5 лет
  • глубокое знание Python и основных библиотек для работы с данными (pandas, numpy и др.)
  • опыт парсинга/скрейпинга слабоструктурированных документов (PDF, doc, docx, xls, xlsx)
  • опыт построения конвейров данных с использованием оркестраторов Dagster
  • понимание управления качеством данных (Data Quality)
  • понимание мониторинга и отладки конвейеров (логи, метрики, алерты)
  • знание форматов данных: JSON lines, Parquet, XML, CSV
  • понимание методов получения/поставки данных: S3, REST API, SOAP, RPC
  • уверенное знание PostgreSQL
  • Git — ветвление, ревью, merge-стратегии
  • английский — чтение технической документации

Будет плюсом:

  • опыт работы с данными из открытых источников (open data)
  • опыт долгосрочного поддержания работы парсеров