Мы решаем задачу персонализации с помощью LLM-подобных технологий: переводим пользователей в специализированное пространство токенов и обрабатываем полученные последовательности с помощью генеративных моделей. Результаты работы нашей команды применяются во всех крупных рекомендательных системах Яндекса. Исследования в нашей команде охватывают следующие области: * Претрейн генеративных моделей со случайных весов * Адаптация индустриальных архитектурных трендов, таких как MoE, квантизация, Linear Attention, техник сжатия контекста * Обучение reward-моделей на основе трансформерной архитектуры * RL с использованием разновидностей GRPO * Continuous learning * Модели токенизации пользователя Также мы публикуем работы на международных конференциях: * KDD'26 * RecSys'25 * RecSys'25 Наша мечта — построить одностадийную генеративную рекомендательную систему и встроить её в LLM как новую модальность.

Обязанности:

Оптимизировать архитектуру нейросети
Мы постоянно развиваем архитектуру и рецепты обучения наших моделей, адаптируя последние индустриальные тренды. Наша задача — не только обеспечить высокое качество предсказания, но и выдерживать нагрузку, создаваемую многими миллионами пользователей Яндекса. Развивать алгоритмы токенизации
Токенизация в генеративных моделях персонализации — активно развивающаяся область. Она включает в себя построение семантических моделей, исследование алгоритмов квантизации, а также continuous learning. Исследовать Alignment с использованием RL
Мы строим алгоритмы, которые адаптируются под вкусы пользователей с использованием GRPO, обучаясь как на reward-модели, так и на прямом фидбэке. Интегрироваться в LLM в качестве новой модальности
Мы исследуем не только модели генеративной персонализации, но и возможности их объединения с LLM, чтобы строить системы с уникальными свойствами: способностью следовать инструкциям и объяснять рекомендации. Больше об ML в Яндексе — в канале Yandex for ML

Ключевые навыки:

  • Глубоко понимаете, как устроен современный DL с научной и инженерной точек зрения
  • Командный игрок: готовы браться за широкий спектр задач, которые продвигают команду вперёд
  • Следите за трендами в таких областях, как LLM, мультимодальность, RecSys