Мы — Aspirity Solution, студия разработки с более чем 10-летним опытом создания веб- и мобильных приложений, no-code решений и интеллектуальных AI-агентов для клиентов по всему миру.

Сейчас мы ищем QA Engineer, который будет отвечать за качество, устойчивость и предсказуемость поведения AI-агентов и LLM-систем.

Чем предстоит заниматься:

  • Тестировать и оценивать работу AI-агентов (диалоговые и когнитивные системы).
  • Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов.
  • Подготавливать тест-кейсы и сценарии функционального и нефункционального тестирования.
  • Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах.
  • Плотно взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.
  • Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды.
  • Вести техническую документацию и описывать best practices.

Требования:

  • Опыт работы в QA (manual или automation) от 2 лет.
  • Практический опыт тестирования AI-агентов или чат-ботов.
  • Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.
  • Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).
  • Опыт автоматизированного тестирования (желательно — для AI-агентов).
  • Уверенное владение Python на уровне написания тестов и утилитарных скриптов.
  • Навыки работы с Git и системами отслеживания ошибок.
  • Английский язык от B2 для работы в международной команде.
  • Проживание вне РФ и РБ.
  • Готовность работать в PT-часовом поясе: с 7:00 до 16:00 PT. (Время Америки, Вашингтон)

Будет плюсом:

  • Опыт работы с LangChain, vapi, Synthflow или другими инструментами создания AI-агентов.
  • Опыт анализа выходов LLM по метрикам качества: accuracy, coherence, relevance.
  • Понимание CI/CD-процессов и базовых инструментов мониторинга.
  • Участие в построении тестовой архитектуры для AI-систем.

Мы предлагаем:

  • Полностью удалённый формат работы.
  • Работу в сильной команде разработчиков, ML-инженеров и AI-специалистов.
  • Возможность профессионально расти в QA для LLM- и AI-агентных систем.
  • Оплату по квалификации — от 20 USD/час.