Обязанности:
- Функциональное тестирование интентов: проверка формулировок, слотов и краевых случаев, включая прерывания, переспросы и неоднозначности.
- E2E-тестирование полного диалога от запроса до ответа пользователю.
- Тестирование стабильности внешних сервисов, ASR, TTS, LLM и других компонентов.
- Автоматизация: написание сценарных тестов на Go или Python для регресса интентов и запуск их в CI.
- Мониторинг продакшна, ручное тестирование сложных диалоговых сценариев и поиск ошибок в логике NLU.
- Работа с требованиями.
Требования:
- Ответственность и самодисциплина, умение эффективно использовать своё время и время команды.
- Понимание рабочей этики в общении с командой и заказчиком.
- Отличное понимание интентов, слотов и сущностей, умение проверять их на недетерминированных ответах.
- Сильный опыт E2E-тестирования распределённых систем: REST, gRPC, очереди.
- Опыт работы более 6 лет.
Будет плюсом:
- Навыки работы с логгированием и мониторингом: Kibana, Grafana, Prometheus, Sentry.
- Понимание тестирования диалоговых контекстов и stateful-сценариев.
- Знание Docker и Kubernetes для поднятия изолированных сред.
Условия: полная занятость, график 5/2, удалённая работа.