В компанию Цифровые привычки требуется QA ML/LLM.

Локация: Москва. Формат работы: первые 3 месяца офис, далее гибрид (офис в МСК).

Условия: Полная занятость. Трудоустройство: ИП или ГПХ.

Зарплата: от 200 000 до 250 000 руб/мес

Требования:

  • Опыт QA от 3 лет, в том числе тестирование ML/LLM‑систем
  • Уверенный SQL (GreenPlum) — умение читать и проверять чужие запросы, находить логические ошибки
  • Python для автоматизации тестов и обработки результатов
  • Понимание специфики LLM: недетерминированность, галлюцинации, чувствительность к промптам

Будет плюсом:

  • Опыт с фреймворками оценки LLM (Ragas, DeepEval) или построения своих
  • Опыт с LangChain / LangGraph
  • Знание банковской предметной области, финансовой отчётности (P&L)
  • Опыт тестирования data‑продуктов: витрины, ETL, качество данных

Обязанности:

  • Выстроить систему оценки качества ответов LLM‑агентов: метрики, критерии, процесс
  • Развивать и сопровождать тестовые корзины для регрессионного тестирования: эталонные вопросы, ожидаемые SQL‑запросы и ответы
  • Автоматизировать прогон тестов и оценку по бинарным критериям (валидность JSON, исполнимость SQL, отсутствие галлюцинаций, корректность ролевого доступа, консистентность ответов), в том числе через LLM Judge
  • Проводить сравнительное тестирование моделей и версий промптов, готовить отчёты для принятия решений
  • Тестировать релизы перед выводом в пром, анализировать инциденты качества и локализовывать причины