Чтобы обучать AI-модели, нужно собирать обучающие выборки, проводить бенчмарки и регулярно измерять качество данных. Это происходит с участием AI-тренеров, а наша команда отвечает за аналитическую и операционную поддержку процесса: помогает распределять исполнителей по проектам, оценивает качество их работы и следит за качеством итоговой разметки. Направление новое, поэтому здесь можно не только решать уже поставленные задачи, но и существенно влиять на то, как будут устроены сами процессы и инструменты.

Обязанности:

Оценка качества разметки
Измерять качество финальной разметки и работы AI-тренеров, строить метрики, бенчмарки и системы оценки, которые напрямую влияют на обучение моделей и релевантность поисковой выдачи. Анализировать стабильность и надёжность разметки, выявлять проблемные зоны в данных и предлагать, как повысить качество на уровне процессов и критериев оценки. Аналитика качества исполнителей
Строить системы оценки и рейтинги исполнителей, анализировать их сильные стороны, зоны риска и динамику качества. Разрабатывать более точные подходы к распределению задач с учётом навыков, специализации и результатов прошлой работы, чтобы повышать качество данных и эффективность всего контура разметки. Развитие процессов и инструментов
Плотно взаимодействовать с командами офлайн-метрик поиска, помогать развивать систему разметки и воронки обучения исполнителей, искать узкие места в процессах и предлагать, как их улучшить. Важная часть роли — находить возможности для автоматизации, делать процессы более масштабируемыми и создавать аналитические инструменты, которые позволят лучше управлять качеством данных.
Больше об аналитике в Яндексе — в канале Yandex for Analytics

Ключевые навыки:

  • Уверенно работаете с Python и SQL
  • Знаете математическую статистику и теорию вероятностей
  • Умеете формализовать и структурировать требования и ожидания заказчиков
  • Самостоятельны и готовы браться за новые задачи, для которых нет готового решения

Дополнительные требования:

  • Писали инструкции и самостоятельно запускали проекты разметки данных
  • Понимаете процессы обучения ML-моделей и роли данных в качестве моделей
  • Умеете создавать точные и эффективные промпты для генеративных нейросетей