В нашей команде вас ждут сложные задачи на стыке research и systems engineering. Мы работаем с огромными мультимодальными данными, исследуем scaling laws, запускаем ресурсоёмкие распределённые обучения и собираем рецепты, которые делают модель сильнее не только на открытых тестах, но и в прикладных сценариях. Если вам хочется влиять на качество VLM на самом глубоком уровне — вам к нам.

Обязанности:

Развивать претрейн мультимодальных моделей
Вам предстоит исследовать архитектурные решения, рецепты и режимы обучения для VLM. Нужно будет находить подходы, которые улучшают базовые способности модели, усиливают связь между визуальной и текстовой модальностями и дают устойчивый прирост качества не только на открытых бенчмарках, но и в реальных продуктовых задачах. Работать с петабайтами мультимодальных данных
Качество претрейна во многом определяется данными. Вам предстоит работать с огромными массивами мультимодальных данных из разных доменов: image-text, OCR, документы, таблицы, графики, интерфейсы, видео, UGC. Важно принимать решения о составе обучающих данных: какие домены, форматы и пропорции усиливают модель, исследовать scaling laws, как снижать шум и превращать работу с данными в масштабируемый pipeline. Работать с large-scale-обучением
Претрейн VLM — это длинные и ресурсоёмкие обучения, где важна сильная инженерная база. Вы будете работать с распределённым обучением, профилировать узкие места, следить за эффективностью использования GPU, улучшать стабильность запусков и воспроизводимость экспериментов. Больше об ML в Яндексе — в канале Yandex for ML

Ключевые навыки:

  • Получили опыт в CV, NLP и хорошо понимаете устройство современных LLM/VLM
  • Понимаете, как устроено распределённое обучение больших моделей
  • Умеете формулировать исследовательские гипотезы и проверять их экспериментально
  • Аккуратно ставите эксперименты, корректно сравниваете подходы и умеете выделять реальные улучшения
  • Умеете писать рабочий и понятный код и доводить идеи до воспроизводимого результата

Дополнительные требования:

  • Обучали большие модели или работали с крупными DL-системами
  • Работали с pretrain-пайплайнами для LLM или VLM
  • Знакомы с Megatron, DeepSpeed, FSDP, PyTorch Distributed или аналогичными инструментами