Наша команда отвечает за качество ответов Алисы в случаях, когда пользователь присылает изображение в чат, — мы называем это направление Фотоинпутом: найти похожий товар в интернете, распознать или перевести текст, помочь разобраться с домашним заданием, дать краткую выжимку с инфографики — и многих других. Сердцем Фотоинпута является Alice AI VLM. Мы построили вокруг неё многокомпонентную систему, которая помогает делать ответы более релевантными, актуальными и полезными. Для этого мы интегрируем навыки работы с компонентами на разных стадиях обучения непосредственно самой модели — от pretrain до RL. Кроме того, у нас есть широкий спектр продуктовых срезов, которые мы развиваем в рамках Фотоинпута, например образование или обогащение ответов картинками и ссылками. Мы ищем опытного проактивного специалиста, которому нравится работать на стыке ресёрча и продукта и который хочет решать реальные проблемы наших пользователей и создавать одного из лучших AI-ассистентов на российском рынке. Лендинг с описанием юзкейсов нашей технологии
Статья про то, как устроен Фотоинпут и Alice AI VLM

Обязанности:

Обучать Alice AI VLM
Нам важно, чтобы модель на фундаментальном уровне понимала, как работать в системе, как давать ответы, которые решат задачу пользователя. Предстоит создавать качественные и нетривиальные награды для модели и улучшать свойства Alice AI VLM: например, полезность, фактологичность — за счёт RLHF. Улучшать качество на образовательных сценариях
Мы делаем Алису полезным помощником по объяснению задач в различных научных дисциплинах: математике, геометрии, физике и других. Нужно делать масштабируемые пайплайны сбора качественных данных, создавать для модели награды, повышающие точность ответов при решении задач. Развивать агентские навыки у Alice AI VLM
Ваша задача — учить модель работать с внешними инструментами в tool-call-режиме за счёт обучения в различных агентских средах. Внедрять новые фичи и искать точки роста
Мы используем большой каскад метрик для выбора лучших кандидатов на выкатку и A/B-тестирование, чтобы оценивать влияние на рабочих задачах наших пользователей. Те же самые инструменты помогают нам искать точки роста: новые фичи или существующие проблемы. Больше об ML в Яндексе — в канале Yandex for ML

Ключевые навыки:

  • Горите темой больших мультимодальных моделей и занимались их обучением
  • Хорошо знаете NLP/CV и следите за трендами в LLM/VLM
  • Умеете решать ML-задачи полного цикла — от сбора разметки до внедрения в продакшен