Готовим данные для GigaChat и GigaChat Vision — от pretrain с нуля до alignment. Собрали корпус на 15 триллионов токенов. Открыли [GigaChat 3.1 (702B)](https://huggingface.co/ai-sage/GigaChat3.1-702B-A36B) и [GigaChat 3.5 (432B)](https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B). Опубликовали [статью на ACL](https://aclanthology.org/2025.acl-demo.10/); ещё две статьи проходят ревью на A\*-конференциях.

У нас — сильная исследовательская команда, сложные задачи в LLM и мультимодальности и ресурсы для проверки новых идей.

Чтобы познакомиться с работой команды

Наши доклады:

[Данные и инфраструктура GigaChat — HighLoad++ 2025](https://highload.ru/moscow/2025/abstracts/16850)

[Качество данных и эксперименты — AiConf 2025](https://aiconf.ru/2025/abstracts/15853)

[Синтетические задачи по программированию — AiConf 2026](https://aiconf.ru/2026/abstracts/17916)

Как это делают другие команды: [NVIDIA Nemotron-CC](https://research.nvidia.com/labs/adlr/Nemotron-CC/) · [Hugging Face SmolLM3](https://huggingface.co/blog/smollm3)

Обязанности

  • Улучшать pretrain-данные: обучать модели оценки качества, кластеризовать корпуса, подбирать смеси и измерять их влияние на качество модели.
  • Создавать alignment-данные для SFT и RL в разных доменах: инструкции, предпочтения и агентные траектории; разрабатывать среды, задачи и проверки для обучения работе с инструментами.
  • Генерировать синтетику для математики, кода и reasoning; проверять решения исполнением кода и моделями-судьями.
  • Исследовать density sampling, способы токенизации с упаковкой последовательностей, включая best-fit packing; проверять гипотезы в ablation-экспериментах.
  • Готовить датасеты для мультимодального обучения, включая interleaved-данные с чередованием текста и изображений.
  • Масштабировать обработку сотен миллиардов веб-документов и OCR миллиардов PDF; ускорять распределённые пайплайны и генерацию на GPU.

Требования

  • Уверенный Python, алгоритмы и структуры данных; основы ML, линейной алгебры и вероятности.
  • Практику с PyTorch, NLP/CV или данными — учебные и личные проекты подходят.
  • Linux и Git, чтение статей на английском, умение проверять гипотезы и доводить задачи до результата.
  • Активное использование AI-агентов в работе.

**Будет плюсом**

  • LLM/VLM, vLLM/SGLang, Spark/YTsaurus, C++/Rust;
  • исследовательские проекты,
  • ML-соревнования или олимпиадное программирование.

Условия

  • MacBook M4 (с VPN), корпоративные подписки на AI-агентов.
  • 50 тысяч CPU и большое количество GPU для обработки данных, обучения и синтетики.
  • После успешной стажировки — переход в штат команды.