Нужен инженер для аудита LLM-инференса на собственных GPU-серверах и настройки мониторинга.
Задачи:
- Разобраться в текущей схеме: движок, модели, лимиты и очередь.
- Проверить метрики при одиночных запросах и под нагрузкой, объяснить расхождения.
- Провести нагрузочное тестирование пропускной способности и задержки при разном числе одновременных запросов.
- Настроить мониторинг с Prometheus, Grafana, NVIDIA DCGM exporter и метриками движка.
- Оценить конфигурацию серверов для дальнейшей закупки.
- Подготовить краткий отчёт для руководителя без технического бэкграунда.
Текущая инфраструктура: два GPU-сервера уровня H200, vLLM-подобный стек и внутренний шлюз к LLM.
Требования: опыт работы с vLLM, SGLang, TensorRT-LLM или Triton на реальных GPU; знание KV-кэша и батчинга; опыт нагрузочного тестирования LLM, Prometheus и Grafana.
Условия: удалённая проектная работа. Первый этап — примерно 20–40 часов; далее возможна поддержка на несколько часов в месяц. Возможен аудит под ключ силами компании.