Алиса — AI-ассистент Яндекса, которым пользуются более 10 миллионов человек в месяц. Она умеет поддерживать разговор, управлять умным домом, развлекать детей и даже обучать английскому языку. Алиса живёт в колонках и телефонах, телевизорах и автомобилях. Отвечая более чем на 7 миллиардов запросов в месяц, Алиса становится неотъемлемой частью нашего общества и образа Яндекса. Голосовой ввод — самый частый и естественный сценарий взаимодействия с Алисой. По голосу пользователя, когда он обращается к колонке, нужно уметь понимать не только что именно он хотел сказать, но и кто это из членов семьи, какого он возраста, а в идеале и какое сейчас у него настроение. Мы обеспечиваем качество данных и ML-моделей, которые реализуют весь этот функционал.

Обязанности:

Создание метрик для ML-моделей
Наша команда не обучает модели, но пытается ответить на вопрос, что такое «хорошо» для ML-модели. За ним скрывается множество исследований данных, поведения моделей, генерации и проверки гипотез, потому что это «хорошо» значительно проще описать интуитивно, чем заключить в строгие математические формулы. Сбор данных через краудсорсинг
Обучение и валидация моделей требуют большого количества очень хорошо размеченных данных. Получить которые чаще всего можно, только специально попросив людей их разметить. Что именно, с каким пониманием инструкции и насколько качественно будут размечать — вот вопросы, на которые мы должны уметь ответить. Продуктовые исследования
Мы помогаем направлять развитие продукта, вглядываясь в данные. Чтобы понять потребности и боли пользователей, мы исследуем всё — от конкретных баг-репортов до ежедневных терабайт данных про пользование Алисой. А когда все решения по нашим числам приняты, смотрим А/В-тесты и оцениваем реальную пользу (или вред) от изменений. Больше об аналитике в Яндексе — в канале Yandex for Analytics

Ключевые навыки:

  • Занимались аналитикой больше двух лет
  • Уверенно пишете на Python и SQL, знакомы с основными библиотеками
  • Знаете основы машинного обучения
  • Любите смотреть в данные и приносить пользу продукту и пользователю

Дополнительные требования:

  • Знакомы с YQL, Python, Нирваной, Толокой
  • Знаете статистику
  • Любите и умеете структурировать информацию, выделять важное