О вакансии
В Яндексе существует множество вертикальных поисков: товары, путешествия, недвижимость, афиша, музыка. У каждого из них своя логика ранжирования, метрики качества и интеграции с продуктами вроде Алисы.
Мы хотим собрать из этого единую платформу поиска, где команды смогут описывать требования к релевантности и интеграциям декларативно, а инфраструктура будет автоматически строить ранжирование, evaluation и подключение к агентам.
В основе платформы — современные LLM и ML-подходы: от компиляции политик релевантности до дистилляции моделей ранжирования и стандартных интерфейсов для агентов.
Какие задачи вас ждут:
- Развивать платформу поиска для продуктовых команд
Вы будете реализовывать ML-инфраструктуру, которую смогут использовать десятки команд внутри компании. Платформа должна позволять быстро запускать новые поиски и экспериментировать с логикой ранжирования. -
Использовать LLM для построения ML-пайплайнов
Мы применяем LLM для описания логики ранжирования, генерации обучающих данных и помощи в настройке моделей. Вам предстоит реализовать такие механизмы внутри платформы. -
Заниматься дистилляцией моделей ранжирования
Нужно будет превращать тяжёлые мощные модели в быстрые продакшн-модели, позволяющие соблюдать ограничения по латентности и не сильно уступающие в качестве учителю. -
Развивать систему метрик и evaluation
Вы будете создавать инфраструктуру для измерения качества поиска в разных вертикалях. Это включает метрики, офлайн-evaluation и поддержку экспериментов.
Мы ждем, что вы:
- Обучали LLM или BERT-модели
- Уверенно владеете Python и работаете с SQL
- Увлечены ML, аналитикой и интеграцией моделей в реальные сервисы
- Хорошо разбираетесь в алгоритмах и структурах данных
Будет плюсом, если вы:
- Работали с поиском или рекомендациями