ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Наша команда занимается развитием дистанционных каналов продаж с использованием AI. Основные каналы — чат клиентов с Банком и телефония: исходящие и входящие звонки. Сейчас мы в поиске опытного QA инженера, который поможет нам воплотить в жизнь подход к тестированию недетерминированных LLM-сущностей.

Обязанности

  • разработка и поддержка автотестов на Python для проверки функционала голосового агента и смежных систем
  • написание и поддержка тестовых сценариев в Zephyr
  • оценка качества ответов LLM с помощью метрик (LLM-as-a-Judge, ROUGE, BLEU, Semantic Similarity)
  • анализ результатов тестирования, заведение и отслеживание дефектов в Jira
  • участие в развитии подходов к тестированию недетерминированных систем.

Требования

  • уверенное знание Python и опыт применения его для автоматизации тестирования
  • практический опыт автоматизации тестирования Web UI (Selenium / Playwright или аналоги)
  • понимание специфики тестирования LLM: недетерминированность, семантическое сравнение, метрики качества
  • опыт прикладного использования LLM-as-a-Judge
  • кмение писать чёткие тест-кейсы и анализировать результаты прогонов
  • опыт работы с Jira, Confluence (или аналогами)

**Будет плюсом:**

  • опыт работы с фреймворками оценки LLM: Langchain Eval, DeepEval, Trulens, Ragas
  • знание метрик ROUGE, BLEU, BERTScore
  • опыт тестирования голосовых ассистентов или чат-ботов
  • опыт работы с SIP, телефонией
  • опыт работы с CI/CD (GitLab CI, Jenkins)
  • желание разбираться в новой предметной области, исследовать уже имеющиеся в открытом доступе подходы и предлагать свои решения.

Условия

  • комфортный современный офис - м. Кутузовская
  • ежегодный пересмотр зарплаты, годовой бонус
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
  • вознаграждение за рекомендацию друзей в команду Сбера
  • корпоративная пенсионная программа.