LLM Platform — единая точка входа для работы с LLM в Яндексе. Ищем разработчика для работы над внутренней платформой масштаба крупной компании.
Задачи:
- Разработка системы управления квотами: задание квот на разные типы запросов, управление лимитами, аналитика, биллинг и cost allocation.
- Интеграции с LLM-провайдерами и внутренними моделями: развивать единый API, подключать провайдеров и собственные инференсы, унифицировать форматы, разрабатывать маршрутизацию запросов.
- Обеспечение безопасного использования данных: проектирование механизмов безопасной передачи данных в публичные модели, разработка фильтров и политик обработки запросов, интеграция с системами контроля.
Требования:
- Опыт бэкенд-разработки на Go на промышленном уровне.
- Понимание принципов построения распределённых систем.
- Опыт проектирования API и интеграций сервисов.
- Понимание observability (метрики, логи, алерты).
- Готовность разбираться в области LLM.
Условия и бонусы: компенсируем обеды, на кофепойнтах доступны свежие фрукты и другие корпоративные бонусы.