Задача команды восприятия сцены для автономного автомобиля — преобразование данных от различных сенсоров в описание мира, достаточное для работы остальных компонентов. Подгруппа детекторного претрейна исследует способы получения моделей высокой генерализуемости. Выходной вектор модели — высокоуровневое представление сцены — позволяет соседним командам как ускорять эксперименты, так и изменять финальные траектории движения автомобиля.

Обязанности:

Экспериментирование с контурами претрейна и алайнмента
Хочется экспериментировать как с исключительно сенсорными претрейнами, обученными в unsupervised-постановке, так и со связыванием с текстовыми представлениями. Сжатие эмбеддинга сцены до компактных размеров
Разные потребители нуждаются в разных размерах вектора, и необходимо получать честные оценки размена детализации на компактность. Подготовка инфраструктуры обучения
Данные — все собранные флотом проезды. Для эффективной работы над данными разных модальностей поверх разных сенсор-сетов нужен хороший инфраструктурный дизайн. Больше об ML в Яндексе — в канале Yandex for ML

Ключевые навыки:

  • Обучаете нейросетевые модели, работаете с разными подходами
  • Работали с PyTorch, TensorFlow и фреймворками поверх этого
  • Стремитесь использовать в работе и распространять хорошие, универсальные, масштабируемые практики
  • Ориентируетесь в мире прикладного DL: знаете теорию компьютерного зрения, добиваетесь практических результатов
  • Работали с большими моделями (LLM, VLM, Foundation Models) в иных доменах (будет преимуществом)
  • Читаете статьи с ML-конференций, следите за развитием области