PyTorch: вопросы на собеседовании

Вопросы и ответы по PyTorch: подготовка, примеры и типичные ошибки.

1. Как работает система autograd в PyTorch? Объясните requires_grad, backward() и граф вычислений.
   Senior· спрашивают почти всегда· полный разбор — Jobs/Boost
2. Что такое DataLoader в PyTorch и какие параметры управляют батчингом, перемешиванием и параллельной загрузкой?
   Junior· спрашивают почти всегда· полный разбор — Jobs/Boost
3. Зачем нужен optimizer.zero_grad() и почему его необходимо вызывать перед каждым обратным проходом?
   Junior· спрашивают почти всегда· полный разбор — Jobs/Boost
4. В каких data/AI-задачах PyTorch даёт реальный выигрыш, а где лучше выбрать другой инструмент или более простой pipeline?
   Middle· спрашивают почти всегда
5. Как сохранять и загружать веса модели в PyTorch (state_dict vs полная модель)?
   Middle· спрашивают почти всегда· полный разбор — Jobs/Boost
6. Объясните разницу между режимами model.train() и model.eval().
   Junior· спрашивают почти всегда· полный разбор — Jobs/Boost
7. Объясните batch normalization — что она делает и как реализована в PyTorch?
   Middle
8. Как перемещать модель и тензоры между CPU и GPU в PyTorch?
   Junior· полный разбор — Jobs/Boost
9. Как реализовать кастомную функцию потерь в PyTorch?
   Middle
10. Как реализовать кастомный слой nn.Module в PyTorch?
    Middle· полный разбор — Jobs/Boost
11. Как работает dropout в PyTorch и как его поведение различается во время обучения и инференса?
    Middle· полный разбор — Jobs/Boost
12. В чём разница между динамическим графом вычислений PyTorch и статическим графом TensorFlow?
    Middle
13. Как реализовать early stopping в цикле обучения PyTorch?
    Middle· полный разбор — Jobs/Boost
14. Как работает torch.nn.Embedding и когда его следует использовать?
    Middle· полный разбор — Jobs/Boost
15. Как реализовать gradient accumulation в PyTorch и зачем это нужно?
    Middle
16. Что такое gradient clipping и почему это важно при обучении RNN/трансформеров?
    Middle· полный разбор — Jobs/Boost
17. Как проверять корректность решения на PyTorch, а не только успешное выполнение кода?
    Senior· полный разбор — Jobs/Boost
18. Представьте, pipeline на PyTorch даёт хорошие результаты в dev, но плохо работает на новых данных. Как вы будете разбираться?
    Senior
19. Как сравнить eager, graph/compiled execution и trade-offs production serving?
    Senior· полный разбор — Jobs/Boost
20. Какие ключевые абстракции PyTorch нужно понимать, чтобы не получать формально рабочие, но неверные результаты?
    Middle· полный разбор — Jobs/Boost
21. Как сравнить PyTorch с альтернативами по качеству, скорости экспериментов, масштабированию, воспроизводимости и production-интеграции?
    Senior· полный разбор — Jobs/Boost
22. Какие риски есть у PyTorch: data leakage, неверная оценка качества, memory usage, latency, cost, drift или observability?
    Senior
23. Какие ошибки делают команды, когда переносят notebook/prototype-подход на production data/AI pipeline?
    Senior· полный разбор — Jobs/Boost
24. Что такое tensor в PyTorch и чем он отличается от массива NumPy?
    Junior· полный разбор — Jobs/Boost
25. Что такое transfer learning в PyTorch и как заморозить слои предобученной модели?
    Middle
26. Что такое torch.cuda.amp и как mixed-precision training улучшает производительность?
    Senior
27. Объясните класс Dataset в PyTorch — как реализовать кастомный датасет с методами __len__ и __getitem__?
    Junior· полный разбор — Jobs/Boost
28. Чем DataParallel отличается от DistributedDataParallel (DDP)?
    Senior
29. Как отлаживать NaN-потери во время обучения в PyTorch?
    Senior· полный разбор — Jobs/Boost
30. Какие существуют техники для снижения использования GPU-памяти во время обучения?
    Senior· полный разбор — Jobs/Boost
31. В чём разница между nn.Module и nn.functional?
    Junior
32. В чём разница между torch.no_grad() и torch.inference_mode()?
    Senior· полный разбор — Jobs/Boost
33. Как профилировать модель PyTorch для выявления узких мест по памяти и скорости?
    Senior
34. Расскажите о случае, когда вы использовали PyTorch для pipeline, evaluation, optimization, deployment или debugging.
    Middle· полный разбор — Jobs/Boost
35. Что такое FSDP и когда он нужен вместо DDP?
    Senior· полный разбор — Jobs/Boost
36. Что такое quantization и как она влияет на inference latency/accuracy?
    Middle
37. В чём разница между view() и reshape() в PyTorch?
    Middle· полный разбор — Jobs/Boost
38. Как работает механизм Attention и как он реализован в PyTorch?
    Middle· полный разбор — Jobs/Boost
39. Что такое hooks в PyTorch и как с их помощью инспектировать промежуточные активации?
    Middle· полный разбор — Jobs/Boost
40. Что такое torch.compile() (представлен в PyTorch 2.0) и какие преимущества по производительности он даёт?
    Senior
41. Что такое torch.jit.script / TorchScript и когда его использовать для деплоя в продакшен?
    Senior· полный разбор — Jobs/Boost