Поддержка AI-команды, реализующей портфель внутренних ИИ-инициатив на платформе Dify: LLM-агенты, RAG, классификация, извлечение данных из документов и интеграции через API/MCP.
Задачи:
- Подготавливать тест-кейсы по требованиям и критериям приемки.
- Проводить функциональное, интеграционное, регрессионное и приемочное тестирование ИИ-агентов, workflow и API-интеграций.
- Проверять позитивные, негативные и пограничные сценарии, в том числе нетипичные запросы и галлюцинации модели.
- Проверять соответствие результатов требованиям и метрикам качества; формировать тестовые выборки и участвовать в оценке ответов.
- Фиксировать дефекты, контролировать их устранение и отчитываться о качестве релизов.
Требования: от 3 лет опыта в тестировании ПО; от 1 года тестирования ML/LLM-продуктов либо API и интеграций backend-сервисов. Нужен опыт как минимум в двух проектах тестирования интеграционных/API-решений или ИИ-продуктов с запуском в production, а также построения регрессионных наборов и тестовых выборок. Необходимы навыки тест-дизайна и подготовки тестовой документации, тестирования REST API, чтения JSON и логов, SQL для проверки данных, базовый Python и понимание LLM, RAG, промптов и метрик качества ИИ. Опыт в e-commerce, ритейле, B2B-дистрибуции или клиентском сервисе будет преимуществом.
Инструменты и технологии: Postman или аналоги; желательно Dify, LangChain, pytest, requests, RAGAS, DeepEval, promptfoo или аналоги, LLM-as-a-judge, CI/CD и Git. Для задач и документации используются Jira или Yandex Tracker, Confluence или Yandex Wiki, а также Google Sheets.
Условия: удаленная работа по России; долгосрочный проект, полная занятость. Оформление по ГПХ или как ИП. Не рассматриваются кандидаты, работавшие с проектами Лимана, Петрович Тех, ВБ, Озон, Лента Тех, Яндекс Маркет или М.Видео за последние 6 месяцев.