Задачи:
- Проектирование и поддержка GPU-кластера инференса на Nvidia для десятков тысяч пользователей: масштабирование, балансировка и приоритизация запросов, настройка пользовательских лимитов.
- Оптимизация производительности с помощью кэширования и батчинга.
- Обеспечение надежности и observability, соблюдение SLA и предотвращение регрессий.
- Оценка и внедрение новых LLM.
- Разработка AI-сервисов: AI Code Assistant (Co-Pilot), AI Chat и AI Code Review.
- Проектирование пайплайнов автоматизаций: tool/function calling, обработка ошибок, управление контекстом и состоянием.
- Интеграция AI-сервисов в корпоративную среду: API, базы данных и legacy-системы.
- Проведение экспериментов, создание MVP и подготовка решений к запуску в production; исследование новых технологий и подходов.
Требования:
- Опыт разработки на Python от 5 лет; знание typing, асинхронности и паттернов проектирования.
- Опыт создания высоконагруженных API на FastAPI или аналогах, работы с очередями, воркерами и фоновыми задачами.
- Опыт построения gateway/router, управления ключами, маршрутизации и пользовательскими лимитами.
- Опыт поддержки высоконагруженных production-сервисов, стабильных контрактов и обработки ошибок.
- Знание инструментов инференса vLLM, SGLang и OpenAI API, понимание их внутренней работы.
- Опыт настройки инференса под высокую нагрузку: latency/throughput и управление GPU-ресурсами.
- Опыт построения решений с tool/function calling, MCP и guardrails, а также борьбы с галлюцинациями.
Условия: полная занятость, график 5/2, удалённый или гибридный формат работы. Опыт работы: 3–6 лет.