Алиса — это голосовой помощник Яндекса, который ежедневно помогает миллионам пользователей. Наша цель — лучший AI-ассистент на рынке. Мы стремимся достичь максимального качества ответов: детально разбираемся в большом количестве задач и тщательно анализируем датасеты с эталонными текстами. Ищем аналитика-разработчика, который будет вместе с нами совершенствовать систему сбора и обработки данных для обучения Алисы. Почему у нас классно * Вы окажетесь в самом центре развития Алисы AI * Будете тесно работать с ML-командой и аналитиками сложных процессов разметки данных * Сможете прокачать технические и коммуникативно-менеджерские навыки * Будете обмениваться опытом с коллегами (аналитиками и ML-инженерами) * Улучшите фокусный, узнаваемый продукт Яндекса — результаты вашей работы увидят миллионы людей, включая ваших друзей и близких

Обязанности:

Анализ качества эталонных ответов
Вы будете анализировать данные вручную, с помощью метрик и AI-тренеров. Если для оценки нет подходящего инструмента, его предстоит придумать и сделать. Улучшение эталонных ответов
Найти проблему — только половина дела. Вам предстоит придумывать алгоритмы исправлений: определять, как нужно выделить срез с проблемой, что можно поправить автоматически, а где потребуется помощь AI-тренеров. Приёмка датасета
Важно убедиться, что качество датасета повысилось, а соседние сценарии не сломались. Поэтому после внесения правок необходимо будет оценивать результат — проводить автоматические проверки, делать новые разметки или отсматривать изменения вручную. Синхронизация принципов
Вам предстоит подсвечивать смежным командам найденные проблемы и добиваться необходимых изменений. Тогда все инструменты обучения будут работать согласованно, а модель лучше усвоит новый навык. Больше об аналитике в Яндексе — в канале Yandex for Analytics

Ключевые навыки:

  • Уверенно работаете с Python и SQL
  • Знаете на базовом уровне математическую статистику и теорию вероятностей
  • Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
  • Можете спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую

Дополнительные требования:

  • Работали с BI-инструментами
  • Писали инструкции и самостоятельно запускали проекты разметки данных
  • Имеете опыт анализа текстов или обучения языковых моделей
  • Умеете создавать точные и эффективные промпты для генеративных нейросетей