Команда Trust&Safety разрабатывает self-service платформу для построения пайплайнов обработки данных. Пайплайны обрабатывают миллионы текстов и видео, применяют ML-модели и доставляют данные потребителям с минимальной задержкой.

Задачи:

  • Разрабатывать и запускать в production пайплайны обработки данных для поиска, модерации и рекомендаций.
  • Интегрировать готовые ML-модели в пайплайны.
  • Оптимизировать производительность и обеспечивать минимальные задержки доставки контента.
  • Обрабатывать большие объёмы данных в batch- и streaming-режимах.
  • Развивать функциональность платформы с учётом строгих нефункциональных требований.

Требования:

  • Опыт промышленной разработки на Java от 5 лет.
  • Опыт работы с распределёнными системами и базами данных; Postgres и YTsaurus будут плюсом.
  • Понимание ограничений и возможностей распределённых высоконагруженных систем.
  • Практический опыт работы с метриками приложений, построения дашбордов и алертов.
  • Проактивность, умение работать в команде и решать архитектурные задачи под ключ.
  • Опыт обработки больших объёмов данных в batch- и streaming-режимах будет плюсом.