Команда аналитики визуальных генеративных моделей на стыке NLP и компьютерного зрения создаёт визуально-текстовую генеративную модель, которая будет решать задачи пользователей по изображению. Мы разрабатываем инструменты для сравнения моделей, создаём датасеты для бенчмарков и для обучения моделей. Ищем талантливых специалистов в области аналитики, которые готовы присоединиться к нашей команде.

Обязанности:

Создание инструментов для оценки качества ответов моделей
Основная наша задача — научиться оценивать качество работы нашей модели на разнообразных классах задач. Для этого мы адаптируем опенсорсные бенчмарки, создаём свои и пользуемся помощью исполнителей, которые занимаются разметкой данных. Исследование точек роста
Чтобы улучшать качество, необходимо находить слабые места модели: классы запросов или свойства запросов, на которых мы работаем недостаточно хорошо. Создание новых и улучшение текущих датасетов, на которых обучается модель
Имея хорошие инструменты для оценки качества, а также понимая, что именно необходимо улучшать, мы собираем данные для роста качества. Это могут быть данные как для SFT, так и для RL. Больше об аналитике в Яндексе — в канале Yandex for Analytics

Ключевые навыки:

  • Занимались аналитикой больше года
  • Уверенно пишете на Python и SQL, знаете основные библиотеки
  • Знаете основы машинного обучения
  • Готовы проектировать разметки для удалённых исполнителей

Дополнительные требования:

  • Знакомы с Толокой или другими краудсорсинговыми платформами
  • Создавали процессы разметки данных с помощью удалённых исполнителей
  • Работали с продуктами из области компьютерного зрения