Обязанности:
Анализировать пользовательский опыт и строить метрики и процессы оценки качества ML-сервисов и продуктовЧтобы улучшать качество наших моделей и продуктов, понимать их сильные и слабые места и приоритизировать планы разработки новой функциональности, необходима качественная и количественная аналитика. Без метрик и приборов, которые покажут, куда необходимо двигаться, жить нельзя — и вы поможете нам строить такие приборы и процессы их регулярного обновления. Строить процессы разметки данных для обучения ML-моделей
Один из ключевых факторов, влияющих на качество ML-моделей, — это данные для обучения. Вы будете разрабатывать процессы сбора и разметки данных, оценивать и улучшать качество процессов. Примеры задач: разметка данных для распознавания речи на узбекском языке; сбор обучающих данных для задач текстовой классификации. Помогать проверять продуктовые гипотезы
Мы не только разрабатываем модели, но и помогаем внедрять их в продукты. При внедрении возникает множество гипотез о том, что и как можно сделать с помощью моделей. Для проверки гипотез часто требуется разработать и проанализировать прототип, выбрать лучший вариант решения задачи. Вы поможете менеджерам продукта и разработчикам строить прототипы и изучать варианты технических решений. Пример задачи: анализ разных алгоритмов кластеризации текстов на основе GPT. Больше об аналитике в Яндексе — в канале Yandex for Analytics
Ключевые навыки:
- Пишете на Python
- Хорошо знаете статистику
- Разбираетесь в современных методах ML и NLP
- Обрабатывали и анализировали большие объёмы данных с помощью pandas, SQL, статистических пакетов, библиотек для визуализации данных, Spark SQL, Spark, Hadoop
- Работали с системами контроля версий, например с Git
Дополнительные требования:
- Работали с DataLens
- Работали с краудсорсингом (Яндекс Толокой, Яндекс Заданиями)
