Обязанности:

  • Реализовывать высоконагруженные конвейеры обработки данных для надежной и бесперебойной репликации данных из ИТ-систем.
  • Подготавливать данные в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения.
  • Разрабатывать и поддерживать документацию, отражать статусы выполнения задач в Jira.
  • Проверять качество кода инженеров данных.

Требования:

  • Опыт работы Data Engineer от 4 лет.
  • Знание Python: структур данных и алгоритмов, ООП и функционального программирования.
  • Опыт написания модульных и интеграционных тестов, знание NumPy и Pandas.
  • Опыт разработки и промышленной эксплуатации сервисов загрузки и обработки неструктурированных данных (текст, XML, JSON) из внешних источников.
  • Умение разбираться в API поставщиков данных по документации.
  • Знание SQL, включая сложные запросы с аналитическими оконными функциями, и опыт оптимизации их производительности.
  • Опыт работы с Oracle, Postgres, Greenplum, Airflow, PySpark и Apache Kafka (Python-продюсеры и консьюмеры, consumer groups).
  • Опыт разработки потоковой обработки данных с помощью Spark Structured Streaming и Flink.

Условия: полная занятость, график 5/2, удаленная работа.