Наша команда занимается развитием большой языковой модели Яндекса Alice AI. Мы хотим, чтобы Алиса возглавила топ ассистентов в России, ежедневно помогала пользователям в учёбе и работе, дружелюбно поддерживала беседу. Для этого мы формулируем ключевые продуктовые аспекты ответов, а потом переводим их в метрики и готовим данные, необходимые для роста качества. Отдельный большой трек для нас сейчас — работа над качеством ответов на срезе образования. Мы стремимся сделать Алису ещё полезнее для школьников, чтобы она не только помогала решать домашние задания, но и понятно и грамотно объясняла. Сейчас наши главные фокусы — это математика, русский и английский языки, история и литература, но об остальных предметах тоже не забываем. Верим, что в этом домене мы сможем догнать и перегнать наших главных мировых конкурентов. Ищем как специалистов middle+ уровня, так и тимлидов, готовых присоединиться к нашей команде.

Обязанности:

Создание метрик качества
Одна из главных задач — оценивать качество модели. Для этого мы используем разные подходы: от бенчмарков и LLM-as-a-judge до краудсорсинга и высококвалифицированных AI-тренеров. Вам предстоит формулировать критерии, экспериментировать с подходами и создавать стабильные метрики, по которым можно улучшаться. Анализ проблемных срезов
Задача аналитика — проактивно искать проблемы, с которыми модель пока не справляется, и вместе с командой разработки придумывать план решения, готовить данные для обучения моделей, а потом оценивать эффективность изменений. Сбор данных
Хорошие данные — это очень важно. Вам предстоит искать качественные источники инстрактов для обучения и валидации, находить проблемы в имеющихся данных, формулировать критерии эталонных ответов и пристально следить за соблюдением этих критериев. Больше об аналитике в Яндексе — в канале Yandex for Analytics

Ключевые навыки:

  • Работали над метриками в ML
  • Уверенно владеете SQL и Python
  • Любите и умеете анализировать текстовые данные, строили эффективные процессы их обработки
  • Знаете теорию вероятностей и математическую статистику
  • Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
  • Интересуетесь развитием LLM и хотели бы погрузиться в эту тему

Дополнительные требования:

  • Имеете опыт работы с LLM
  • Работали с Толокой или другими краудсорс-платформами