Команда Диалогового ИИ и ML сервисов ищет Data Scientist для задач оценки качества моделей и развития процессов валидации ML-решений.
Обязанности:
- Погружаться в особенности создания проектов.
- Быть частью центра принятия решений о релизе моделей.
- Создавать и улучшать процессы вокруг оценки ML-решений.
- Проводить аудит поведения всех типов моделей отдела.
- Заботиться о качестве артефактов для построения и оценки моделей.
- Работать с LLM и LLM apps, разрабатывать решения для реалтайм-анализа динамики диалога агентов с пользователем.
- Создавать инструменты для автоматической валидации решений на основе LLM (включая симуляции взаимодействия с агентами).
- Прототипировать ML-решения для проверки гипотез о влиянии на метрики.
- Задавать стандарты в оценке поведения и качества ответов агентов.
Требования:
- Опыт работы Data Scientist от 3 лет.
- Опыт работы с NLP от 2 лет.
- Практический опыт проведения процедур оценки LLM-решений.
- Опыт работы с агентами для консультации пользователей.
- Понимание ограничений LLM.
- Умение писать продакшн-код.
- Подготовка понятных отчетов и умение объяснить сложные метрики понятным языком.