Чтобы улучшать наши большие языковые модели, нужно изучать, как люди ими пользуются. Пользовательские привычки постоянно меняются: с развитием моделей люди начинают задавать более сложные запросы, при этом на простых запросах модели не должны становиться хуже. Наша цель — лучший AI-ассистент на рынке, ежедневно помогающий миллионам пользователей. Мы ищем аналитика-разработчика, который поможет нам следить за качеством данных, выявлять тенденции использования LLM и сравнивать наши модели с моделями конкурентов. Мы хотим знать, какие задачи пользователи решают с помощью моделей и насколько хорошо у них это получается. Видов задач очень много, и у всех есть свои нюансы, в которых нужно детально разбираться. Почему у нас классно: Мы работаем с Алисой AI — новым продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене. Мы даём сотрудникам возможность развивать как технические, так и коммуникативные и менеджерские навыки. Ваша работа напрямую повлияет на то, какими будут AI-продукты Яндекса через полгода.

Обязанности:

Исследование качества данных
У нас есть много данных, но иногда с ними могут быть проблемы технического характера — мы хотим делать мониторинги, чтобы оперативно замечать поломки и доносить их ответственным командам. Отслеживание пользовательских привычек
Каждый релиз продукта влияет на пользователей: они видят, какие из их задач решаются лучше, приходят с такими задачами чаще и иногда пытаются сделать что-то новое. Мы хотим отслеживать, как продукт влияет на привычки пользователей. Для этого мы обогащаем данные разными способами — от ручной разметки до применения других LLM для оценки запроса-ответа. Развитие процессов и инструментов
Важная часть роли — находить возможности для автоматизации, делать процессы более масштабируемыми и создавать инструменты, которые позволят делать задачи проще. Больше об аналитике в Яндексе — в канале Yandex for Analytics

Ключевые навыки:

  • Уверенно работаете с Python и SQL
  • Умеете формализовать и структурировать требования и ожидания заказчиков
  • Знаете основы математической статистики и теории вероятностей
  • Умеете общаться в команде, ясно излагать мысли, понимать и убеждать коллег

Дополнительные требования:

  • Настраивали регулярные аналитические процессы — графики, мониторинги
  • Знакомы с устройством современного фронтенда, не боитесь HTML, JavaScript, CSS