Алиса — сложный высоконагруженный сервис на базе больших языковых моделей. С каждым годом Алиса становится умнее и помогает пользователям решать всё более сложные задачи. Сейчас мы всё чаще применяем для этого большие языковые модели (LLM). Каждая модель хорошо справляется с какой-то одной задачей, но обучить одну универсальную модель, которая идеально решит все задачи, очень сложно. Поэтому мы учим модели работать друг с другом, превращая их в агентов. Каждый агент специализируется на чём-то своём: один ищет информацию в интернете, другой управляет браузером, третий работает с файлами или приложениями. Алиса состоит из множества компонентов и работает на большом семействе платформ. Мы хотим создать новый единый гомогенный рантайм, который будет отвечать современным требованиям и сможет поддерживать как долгие агентские задачи, так и запросы, требующие мгновенного ответа.

Обязанности:

Проектирование архитектуры Алисы
Вы будете проектировать архитектуру Алисы и разрабатывать новый рантайм, чтобы Алиса могла единообразно работать как с долгими задачами на десятки минут, так и с быстрыми запросами на сотни миллисекунд без лишнего оверхеда. Алиса должна оставаться надёжной, эффективной и масштабируемой, обрабатывая десятки тысяч RPS. Она работает с разнообразными видами входных данных: файлами, картинками, голосом, текстом. Рантайм позволит улучшать систему в целом и отдельные компоненты (модели, тулы, агенты), а траектории будут писаться в единых терминах. Архитектура должна быть прозрачной и понятной.
Больше о бэкенде в Яндексе — в канале Yandex for Backend

Ключевые навыки:

  • Умеете разрабатывать высоконагруженные сервисы
  • Знаете тонкости асинхронного взаимодействия в многокомпонентных системах
  • Понимаете, как устроены агенты
  • Готовы писать на C++

Дополнительные требования:

  • Работали с Temporal или другой системой оркестрации
  • Интересуетесь LLM и представляете, как они работают