Мультимодальные модели — один из трендов в области глубокого обучения. Мы, команда компьютерного зрения, строим визуально-текстовые мультимодальные модели (visual language models, VLM). Они адаптируют большие языковые модели для работы не только с текстом, но и с изображениями. Мы ищем разработчиков, которые будут работать над нейросетями нового поколения и доводить свои решения до уровня готового продукта.

Обязанности:

Обучать большие языковые модели работать с визуальной информацией (изображениями и видео)
Вы будете работать на стыке двух областей: компьютерного зрения и обработки естественного языка. Для создания VLM используются нестандартные технические и архитектурные решения. Создавать большие дата-пайплайны, которые обрабатывают все данные интернета
Для обучения VLM требуется очень много данных. Мы строим полноценные дата-пайплайны для сбора, обработки и фильтрации мультимодальных данных. Оптимизировать large-scale-обучение моделей и ускорять их инференс
В процессе обучения VLM много нюансов. Чтобы сделать его эффективным, приходится много профилировать узкие места. А после обучения нужно подумать про то, как сделать быстрый инференс таких моделей. Адаптировать модели к продуктовым требованиям
Наша цель — внедрить VLM в каждый сервис Яндекса. Для этого приходится учитывать специфику каждой задачи, а главное — адаптировать модель (как архитектурно, так и функционально) к конкретным требованиям. Подробнее про Alice AI Больше об ML в Яндексе — в канале Yandex for ML

Ключевые навыки:

  • Понимаете, как работают современные архитектуры нейронных сетей
  • Знакомы с большими языковыми моделями
  • Работали с большими объёмами данных
  • Обучали модели глубокого обучения и внедряли их в продакшен
  • Следите за последними достижениями в областях компьютерного зрения и обработки естественного языка (понимаете, чем ViT отличается от ConvNeXt)