VK Tech (Москва) приглашает программиста-исследователя для работы с LLM/RAG решениями в B2B-направлении.
Задачи:
- Проектирование RAG-архитектуры под B2B: выбор источников данных, настройка ingestion и chunking, стратегии retrieval (dense/hybrid).
- Настройка LLM/агентов под предметную область: реализация промптов, подключение инструментов (tool calling), работа с контекстом и базовой памятью.
- Реализация POC/POV на данных клиента и итерационные улучшения на основе метрик и обратной связи.
- Построение Data Ingestion пайплайнов с OCR.
- Реализация evaluation-пайплайнов: генерация тестовых наборов, запуск auto-eval, участие в human-eval.
- Анализ ключевых метрик (accuracy, coverage, latency, user success rate) и подготовка отчетов.
- Участие в настройке мониторинга: логирование, базовые алерты, анализ неуспешных кейсов и их фиксы.
- Интеграция с инфраструктурой (Kubernetes, облако), работа с метриками и логами, нагрузочное тестирование для оценки скорости инференса.
Требования:
- Опыт работы с Python (pandas, PyTorch/TF, LLM API).
- Опыт в ML/DS/NLP от 2 лет.
- Практический опыт с LLM/RAG: настройка retrieval, embedding-модели, векторные БД (FAISS, Qdrant, Pinecone и др.).
- Понимание техник улучшения качества (reranking, filtering, prompt tuning), опыт prompt engineering.
- Опыт с агентными фреймворками (LangChain, LangGraph, LlamaIndex, ADK) и tool calling / agentic-подходами.
- Базовый опыт fine-tuning (LoRA, QLoRA, instruction tuning) и понимание оптимизации инференса (vLLM, quantization и др.).
- Опыт с ML-фреймворками и инструментами: transformers, vllm, sglang, PyTorch.
- SQL, понимание работы с данными и пайплайнами; опыт деплоя сервисов (Docker, FastAPI); базовое понимание Kubernetes/облака.
- Навыки логирования, мониторинга, A/B-экспериментов и evaluation для ML/LLM (auto-метрики + участие в ручной оценке).