Тестирование ИИ-решений и их интеграций для AI-команды (RnD AI Team). Команда ведёт около 200 инициатив, одновременно в работе находится 10–15. Решения включают LLM-агентов, RAG, классификацию, извлечение данных из документов и интеграции через API/MCP на внутренней платформе Dify.
Задачи:
- Подготовка тест-кейсов по требованиям и критериям приёмки.
- Функциональное и интеграционное тестирование ИИ-агентов, workflow в Dify и API-интеграций.
- Проверка позитивных, негативных и пограничных сценариев, включая нетипичные запросы и галлюцинации модели.
- Регрессионное тестирование после изменений промптов, моделей, базы знаний и интеграций.
- Проверка результатов по требованиям и метрикам качества; формирование тестовых выборок совместно с бизнесом и ML-командой.
- Регистрация дефектов, контроль исправлений, отчётность о качестве релизов и участие в приёмке перед выпуском в production.
Требования:
- От 3 лет опыта в тестировании ПО и от 1 года тестирования ML/LLM-продуктов либо API и backend-интеграций.
- Опыт минимум в двух проектах тестирования интеграционных/API-решений или ИИ-продуктов с выводом в production; опыт построения регрессионных наборов и тестовых выборок.
- Понимание недетерминированных ответов моделей, принципов работы LLM, RAG, промптов и метрик качества.
- Навыки тест-дизайна, ведения документации и работы с баг-трекером; тестирование REST API, чтение JSON и логов, SQL для проверки данных и базовый Python.
- Желателен опыт с инструментами автоматизации API- и LLM-тестирования, оценки ответов моделей, CI/CD и Git.
Условия: удалённая работа по РФ, полная занятость. Задачи и документация ведутся в Jira или Yandex Tracker, Confluence или Yandex Wiki; реестр инициатив — в Google Sheets.