Обязанности:
- Разрабатывать тестовую модель AI-агента: сценарии звонков, состояния и переходы, граничные и нестандартные случаи.
- Писать и поддерживать тест-кейсы, чек-листы и регрессионные наборы; вручную и автоматически проверять сценарии, включая перебивания, неполные ответы, шум и распознавание данных.
- Учитывать недетерминированность LLM: повторно запускать кейсы, оценивать долю успешных прогонов и отделять стабильные ошибки от случайных.
- Классифицировать и описывать баги, анализировать логи звонков и превращать найденные проблемы в тест-кейсы.
- Размечать и исправлять датасеты, готовить критерии оценки и инструкции для автоматической проверки ответов с помощью LLM-as-a-judge.
- После релизов и дообучения проверять исправление старых ошибок и отсутствие новых.
Требования:
- Коммерческий опыт тестирования от 2 лет; уверенное владение техниками тест-дизайна.
- Умение писать тест-кейсы, чек-листы и баг-репорты; понимание регрессионного и смоук-тестирования, приоритизации багов и тестового покрытия.
- Отличная грамотность в русском языке, внимательность и терпение при работе с большим объёмом диалогов и разметки.
- Уверенная работа с таблицами и JSON, умение читать структурированные логи и данные.
- Будут плюсом опыт тестирования чат-ботов, голосовых ассистентов или LLM-продуктов, разметки данных, базовый Python и pytest, понимание LLM, промптов и дообучения (SFT, DPO), опыт API-тестирования и интерес к медицине.
Условия: полная занятость, график 5/2, удалённая работа. Зарплата — от 80 000 до 120 000 ₽ в месяц на руки.