Проект по построению и переносу инфраструктуры для ML-задач: от временного облачного контура до инфраструктуры заказчика, с развёртыванием GPU-сервера и платформы инференса.
Задачи:
- Создать Kubernetes-кластер, настроить Ingress, TLS, DNS, изолированные Dev/Test-окружения и защищённое хранение секретов.
- Настроить GitLab, GitLab Runner, Container Registry и переносимые CI/CD-процессы для сборки и деплоя Docker-образов; добавить проверки безопасности, сканирование уязвимостей, анализ кода и формирование SBOM.
- Установить и настроить Linux, NVIDIA-драйверы и NVIDIA Container Toolkit; интегрировать GPU в Kubernetes и проверить доступность двух NVIDIA RTX A6000.
- Развернуть vLLM, настроить хранение моделей, распределение GPU-ресурсов, мониторинг GPU и взаимодействие с моделью через внутренние сервисы и API.
- Настроить Prometheus, Grafana, NVIDIA DCGM Exporter, централизованное журналирование, резервное копирование и политики доступа.
- Перенести приложение и рабочие окружения на инфраструктуру заказчика, проверить CI/CD, провести нагрузочное тестирование и подготовить инструкции по эксплуатации.
Требования:
- Уверенное администрирование Linux/Ubuntu Server, продвинутый Docker и практическая эксплуатация Kubernetes, включая NVIDIA Device Plugin.
- Опыт с Helm, GitLab CI/CD, GitLab Container Registry и настройкой pipelines и runners.
- Практический опыт настройки NVIDIA GPU и CUDA в Linux и контейнерах; знание NVIDIA Container Toolkit.
- Опыт с Prometheus и Grafana, сетевыми технологиями, TLS, DNS и Bash.
- Уверенное владение Terraform или Ansible.
- Дополнительно: эксплуатация GPU-серверов в AI/ML, инференс vLLM/Ollama/Triton, CUDA и управление VRAM, bare-metal Kubernetes, NVIDIA DCGM Exporter, Langfuse, GDPR и миграция между облачной и локальной инфраструктурой.
Условия: удалённо, проектная занятость; плановая трудоёмкость — 260 человеко-часов. Локация: РФ/РБ.