Компания Selecty ищет MLOps-инженера для разработки и поддержки GenOps-фабрики цифровых агентов на базе открытых LLM/VLM-моделей. Роль включает перевод исследовательских прототипов в отказоустойчивые production-сервисы для банковского сектора.
Обязанности:
- Проектирование и развитие self-service CI/CD пайплайнов для деплоя AI-агентов и мультиагентных систем.
- Развёртывание и оптимизация LLM/VLM-инференса в процессе разработки (оптимизация памяти, ускорение скорости) с использованием vLLM, Triton Inference Server, SGLang.
- Обеспечение высокой доступности сервисов, масштабирование подов и управление состоянием агентов.
- Внедрение комплексного мониторинга: от CPU/GPU и задержки до ML-метрик (качество генерации, дрейф данных, оценка тональности ответов).
Требования:
- Опыт вывода LLM-решений в прод.
- Уверенное владение Python и асинхронным программированием (asyncio).
- Уверенное владение Kubernetes (Helm, управление кластерами).
- Знание Gitlab CI, Jenkins и подобных CI/CD инструментов.
- Понимание архитектуры RAG-систем, работы embedding-моделей и ранжирования.
- Умение оптимизировать инференс: квантизация, continuous batching, PagedAttention.
- Будет плюсом: опыт с графовыми БД и построением мультиагентных систем.
Стек: Python, FastAPI, langchain, llamaindex, haystack, Kubernetes, Docker, S3, Postgres, векторные и графовые БД.
Условия: оформление по ТК РФ в IT-аккредитованную компанию, ДМС (включая стоматологию), компенсация фитнеса, скидки на обучение английскому (Skyeng), индексация зарплаты, современная техника.