Наша команда занимается интеграцией и улучшением Алисы в Яндекс Браузере, развивает и улучшает ML в функциях Браузера, позволяя AI-ассистенту видеть страницы в интернете и взаимодействовать с ними с помощью агентов. Мы запустили краткий пересказ видео и статей, возможности для нейроредактирования — работы с текстом на основе YandexGPT, функцию ответа на вопросы по странице. Ищем сильного аналитика-разработчика, который будет работать над оценкой качества и улучшением наших моделей.

Обязанности:

Работа над метриками качества
Вам предстоит улучшать и развивать процессы оценки качества продуктов, работать над превращением продуктовых свойств в измеримые аспекты качества, строить пайплайны оценки на основе краудсорсинга или LLM. Качество ответов
Вы будете собирать данные для обучения и контроля качества, строить пайплайны работы с этими данными, на основе которых можно будет улучшать качество ответов наших моделей, вместе с продуктом будете искать точки роста качества моделей. Аналитика качества решений
Для точного контроля качества решений необходим постоянный мониторинг качества работы моделей. Для этого мы строим регулярные замеры качества и создаём для них инструменты. Больше об аналитике в Яндексе — в канале Yandex for Analytics

Ключевые навыки:

  • Знаете математическую статистику и теорию вероятностей
  • Умеете писать на Python и SQL
  • Знаете основы ML

Дополнительные требования:

  • Работали с Толокой или пайплайнами оценки качества
  • Имеете опыт в ML
  • Работали с LLM или агентами