Команда развивает оптимизацию инференса LLM на GPU Авито, повышая эффективность использования оборудования и помогая продуктовым командам запускать модели с учётом профиля нагрузки, качества и метрик производительности.

Обязанности:

  • Проводить нагрузочное тестирование моделей по запросам продуктовых команд и оптимизировать их под конкретные сценарии использования.
  • Развивать методику оценки производительности LLM на оборудовании: бенчмарки, инструменты и мониторинг.
  • Регулярно измерять производительность, отслеживать новые модели и поддерживать таблицу результатов.
  • Тестировать новые GPU и сопровождать их настройку вместе с командами инфраструктуры и платформы инференса.
  • Масштабировать оптимизации на весь парк моделей: спекулятивное декодирование, мульти-LoRA, распределённый инференс и переход на новые инференс-бэкенды.
  • Доводить изменения до продакшена: профилировать, оптимизировать, тестировать и внедрять при подтверждённых метриках.
  • Запускать LLM-модели с использованием платформы инференса.

Требования:

  • Опыт оптимизации LLM-моделей с учётом профиля нагрузки.
  • Опыт работы с инференс-фреймворками LLM, такими как vLLM, SGLang и TensorRT-LLM: запуск, настройка и подбор параметров.
  • Знание устройства LLM-инференса и методов оптимизации: prefill и decode, KV-кеш, batching, спекулятивное декодирование, квантизация.
  • Знание принципов работы GPU: память, пропускная способность, утилизация, NVLink и конфигурации с несколькими GPU.
  • Опыт профилирования GPU и работы с инструментами мониторинга.
  • Опыт нагрузочного тестирования и бенчмаркинга LLM-моделей по latency, TTFT, TPOT и throughput, умение сравнивать результаты и делать выводы.
  • Опыт работы с Docker, Kubernetes, метриками и дашбордами Prometheus и Grafana.
  • Готовность внедрять изменения в продакшен, поддерживать их и объяснять результаты продуктовым командам.

Будет плюсом:

  • Опыт написания или оптимизации CUDA-кернелов, понимание SIMT и архитектуры GPU NVIDIA.
  • Опыт внедрения спекулятивного декодирования, мульти-LoRA-сервинга или распределённого инференса.
  • Опыт работы с роутингом и балансировкой с учётом KV-кеша: llm-d, NVIDIA Dynamo, Mooncake или аналоги.
  • Знание C++ или Go.
  • Интерес к статьям и open-source-проектам по ускорению инференса и готовность быстро проверять идеи на практике.

Условия: Москва; расширенная забота о здоровье (ДМС, страхование жизни и онкострахование); психологическая поддержка и финансовые, юридические и ЗОЖ-консультации для сотрудника и близких; корпоративный спорт; специальные предложения и скидки на сервисы Авито; компенсация питания; инженерная свобода для реализации масштабных задач; продуктовый подход к инфраструктуре на основе метрик; сильное инженерное сообщество; матрица компетенций, внутреннее обучение, менторство и обмен опытом.