Приложение Yandex AI (Турция) — это не просто выдача ссылок. Yandex AI создаёт подробные структурированные ответы с разделами, картинками и видео. Но как понять, что качество этих ответов хорошее? На этот вопрос можно отвечать по-разному: например, классический подход — анализировать поведение пользователей. Но современный интернет стал настолько сложным, что часто одних онлайн-метрик недостаточно. Поэтому мы подходим к задаче комплексно: дополнительно строим офлайн-приборы, которые позволяют перед экспериментами заранее отвечать на конкретные практические вопросы. Соответствуют ли ответы запросам пользователей? Стали ли они лучше? Как часто в них встречаются серьёзные ошибки? Вы будете не просто анализировать данные, а создавать правила и метрики, которые станут детектором качества для ответов. К чему мы стремимся Сделать приложение нового поколения
Не просто выдачу ссылок, а интеллектуального помощника, способного решать задачи пользователя на месте, без необходимости переходить куда-либо. Не только на русском
Мы запускаемся в новых регионах, где нас ждут новые вызовы, связанные с языковыми и региональными особенностями. К богатым ответам
Наша цель — ответы, где текст, мультимедиа, карты, новости и многое другое работают вместе. Мы делаем информацию живой, чтобы она запоминалась с первого взгляда. Не врать!
Никаких домыслов или «креативных интерпретаций». Мы строго следим, чтобы ответы опирались на проверенные данные, а каждое утверждение подкреплялось надёжными источниками. Мы учим модели не фантазировать, а опираться на факты, даже если это сложнее. У нас классно, потому что: * Мы работаем над приложением Yandex AI — продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшне. * Наши задачи тесно связаны и с дизайном самого продукта, и с ML. * Мы даём возможность развивать как технические, так и коммуникативные и менеджерские навыки. * Ваша работа прямо повлияет на то, каким станет приложение Yandex AI через полгода. * Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты. * У нас слаженная команда аналитиков и ML-инженеров качества.

Обязанности:

Управление редакторами и системой качества в краудсорс-проекте
Вы будете отвечать за полный цикл работы редакторов: обеспечивать выполнение плана по разметке в срок и с требуемым уровнем качества, управлять их производительностью и снижением «шума», а также проектировать и внедрять методологии оценки. В ваши задачи также будет входить разработка надёжных инструментов контроля качества, построение прозрачной системы измерения эффективности исполнителей, запуск обучающих программ и механизмов обратной связи, формирование критериев отбора и отсева. Цель — выстроить сквозную, технически реализованную систему управления качеством и эффективностью редакторов, напрямую влияющую на итоговый результат проекта. Обеспечение надёжного хранения, обработки и доступности данных разметки
Генерация разметки производит значительные объёмы данных. Вы будете отвечать за проектирование и поддержку инфраструктуры, гарантирующей целостность и сохранность этих данных. Это включает разработку и поддержку ETL-процессов для очистки, трансформации и загрузки данных в аналитические хранилища, создание механизмов фильтрации и агрегации, формирование удобных для анализа таблиц и представлений. Разработка систем LLM-as-Judge
Для эффективного дообучения моделей в соответствии с внутренними принципами качества объёма человеческой разметки зачастую недостаточно. В связи с этим разрабатываются автоматизированные методы оценки качества с использованием LLM в роли judge-моделей. В рамках данной задачи предполагается развитие таких систем, оценка их надёжности и валидности, а также интеграция получаемых сигналов в процессы дообучения моделей.
Больше об аналитике в Яндексе — в канале Yandex for Analytics

Ключевые навыки:

  • Пишете на Python и SQL
  • Знаете математическую статистику и теорию вероятностей
  • Любите работать с данными и умеете извлекать из них практический результат
  • Умеете общаться в команде, ясно излагать мысли, понимать и убеждать коллег
  • Готовы разбираться в том, как и почему должен работать продукт

Дополнительные требования:

  • Работали с Толокой или другими краудсорс-платформами
  • Писали инструкции и самостоятельно запускали проекты разметки данных
  • Знаете принципы функционирования и разработки LLM
  • Обладаете продвинутыми навыками промпт-инжиниринга