Наша команда занимается развитием [Аlice AI](https://alice.yandex.ru/) — одного из самых популярных ассистентов в России. Мы отвечаем за то, чтобы Алиса была умной, безопасной и надёжной для миллионов пользователей. Для этого мы формулируем продуктовые принципы ответов и следим за соблюдением требований в рантайме и во время разработки генеративных моделей. Мы ищем аналитика-разработчика в команду ML Safety Алисы, чтобы вместе строить системы оценки качества ответов как LLM, так и T2I- и I2I-моделей. Почему у нас классно: * Мы работаем с Алисой AI — новым продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене * Наши задачи тесно связаны и с дизайном самого продукта, и с ML * Мы даём возможность развивать как технические, так и коммуникативные и менеджерские навыки * Ваша работа прямо повлияет на то, как будет выглядеть Алиса AI через полгода * Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты * Наша слаженная команда аналитиков и ML-инженеров качества Поиска постоянно обсуждает задачи и обменивается опытом

Обязанности:

Построение системы оценки качества ответов моделей
Вам предстоит разработать и внедрить системы VLM-as-a-judge и LLM-as-a-judge для автоматической оценки ответов наших моделей. Это ключевой шаг в переходе от устаревших подходов к современным методам контроля качества, который напрямую повлияет на развитие продукта. Формализация требований к качеству продукта
Наша основная задача — превратить плохо формализованное и противоречивое определение продукта в набор чётких правил и принципов, с помощью которых мы сможем обозначить конкретный ответ как хороший (подходящий для продукта) или плохой (указывающий на ошибку в продукте) и обосновать такое решение. Сначала мы учимся делать это сами (собираем и обсуждаем примеры, пишем инструкции), а затем обучаем этому AI-тренеров и асессоров. Аналитические задачи вокруг ML-моделей
Мы оптимизируем сбор лёрна, занимаемся валидацией и приёмкой моделей, мониторим состояние прода, ищем проблемы. Больше об аналитике в Яндексе — в канале Yandex for Analytics

Ключевые навыки:

  • Умеете писать на Python и SQL
  • Знаете математическую статистику и теорию вероятностей
  • Можете общаться в команде, ясно излагать мысли, понимать и убеждать коллег
  • Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
  • Въедливы, готовы до мелочей разбираться в том, как и почему должен работать продукт

Дополнительные требования:

  • Работали с Толокой или другими краудсорс-платформами
  • Писали инструкции и самостоятельно запускали проекты разметки данных
  • Работали с машинным обучением и нейронными сетями