Задачи:

  • Поэтапно переводить систему с графа сценариев и скиллов на управляемый LLM-based диалог.
  • Отлаживать голосовой пайплайн: выявлять причины высокой задержки, галлюцинаций LLM, проблем с передачей аудио и ошибок графа.
  • Самостоятельно принимать архитектурные решения и реализовывать их в коде.
  • Поддерживать и отлаживать few-shot-классификацию сценариев на базе Qwen и классификаторы на BERT, учитывать краевые случаи и исправлять ошибочные срабатывания интентов.
  • При необходимости дообучать локальные LLM для извлечения сущностей и удерживания инструкций.
  • Интегрировать и поддерживать ASR на базе GigaAMv2, отлаживать качество распознавания, VAD и передачу текста по пайплайну.
  • Дообучать и настраивать инференс собственных и open-source TTS-систем и систем клонирования голоса.

Требования:

  • Опыт работы с LLM/SLM, few-shot learning, prompt engineering и BERT для классификации сценариев и интентов.
  • Практический опыт fine-tuning LLM с PEFT, LoRA и QLoRA, а также дебага LLM и дообучения и оптимизации TTS-моделей.
  • Опыт интеграции ASR-систем, в частности GigaAMv2, работы с графовыми диалоговыми движками и LLM-агентами.
  • Уверенное владение Python, PyTorch, Hugging Face, фреймворками инференса и Go.
  • Опыт оптимизации low-latency-инференса с vLLM, TensorRT-LLM, Triton Inference Server или ONNX Runtime.
  • Опыт работы с потоковым аудио в реальном времени: streaming ASR/TTS и gRPC-контрактами.
  • Знание Go: проектирование сервисов, типизация, горутины, каналы, указатели и observability.
  • Будут плюсом gRPC, настройка инфраструктуры Kubernetes/inventory и знания TCP.

Условия: удалённый формат работы; локация любая, гражданство РФ.