В каких data/AI-задачах PyTorch даёт реальный выигрыш, а где лучше выбрать другой инструмент или более простой pipeline?

Конкретные примеры выбора

# Задача: предсказание оттока клиентов, 50 фич, 100k строк
# Правильный выбор: LightGBM, не PyTorch
import lightgbm as lgb
model = lgb.LGBMClassifier(n_estimators=500, learning_rate=0.05)
# Обучение за секунды, интерпретируемость через SHAP, нет GPU

# Задача: fine-tuning BERT для классификации тикетов поддержки
# Правильный выбор: PyTorch + Hugging Face
from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments
model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=5)
# LoRA-адаптеры, gradient checkpointing, mixed precision

Где PyTorch действительно выигрывает

• NLP и трансформеры: Hugging Face Transformers, PEFT, vLLM — экосистема де-факто построена на PyTorch. Fine-tuning LLM через LoRA, RLHF, DPO — всё это первоклассный PyTorch.
• Computer Vision с кастомными операциями: кастомные CUDA-ядра через torch.utils.cpp_extension, deformable convolutions, sparse operations.
• Reinforcement Learning: динамические графы делают реализацию policy gradient тривиальной; библиотеки Stable-Baselines3, TorchRL работают поверх PyTorch.
• Исследования с нестандартными архитектурами: рекурсивные сети, graph neural networks (PyG, DGL), tree-RNN — динамический граф позволяет менять топологию в зависимости от входных данных.
• Мультимодальные модели: CLIP, Stable Diffusion, Whisper — всё в PyTorch.

Где PyTorch избыточен или слабее альтернатив

• Табличные данные с классическим ML: XGBoost, LightGBM, CatBoost обучаются на CPU быстрее, требуют меньше кода, проще в деплое через ONNX или pickle. PyTorch-модели на tabular данных обычно проигрывают градиентному бустингу.
• Простые pipeline без GPU: sklearn Pipeline, Optuna, MLflow — достаточно для большинства production задач без deep learning.
• Стриминговый инференс на edge-устройствах: TensorFlow Lite и ONNX Runtime дают лучший footprint; PyTorch Mobile существует, но экосистема меньше.
• TPU-кластеры в Google Cloud: TF/JAX нативно поддерживают TPU; PyTorch/XLA работает, но с ограничениями (статические формы).
• Дата-инженерия и feature store: Spark MLlib, dbt, Feast — здесь PyTorch вообще не нужен.

Стоимость владения PyTorch в production

• Серверный инференс требует GPU или ONNX Runtime / TorchScript для CPU-деплоя.
• Версионирование модели: torch.save / torch.load привязан к версии PyTorch; лучше использовать model.state_dict() + отдельно сохранять конфиг архитектуры.
• Зависимости CUDA: torch==2.3.0+cu121 весит ~2 GB, увеличивает Docker-образ.

# Проверить доступность GPU и версию CUDA
python -c "import torch; print(torch.__version__, torch.cuda.is_available(), torch.version.cuda)"

# Экспорт в ONNX для CPU-инференса без PyTorch runtime
torch.onnx.export(
    model,
    dummy_input,
    "model.onnx",
    input_names=["input"],
    output_names=["output"],
    opset_version=17,
    dynamic_axes={"input": {0: "batch_size"}},
)

Зрелость экосистемы по направлениям

• NLP/LLM: PyTorch — абсолютный стандарт (Hugging Face, vLLM, LiteLLM).
• CV: PyTorch (torchvision, detectron2, mmdet) vs TF/Keras — паритет.
• MLOps: MLflow, Weights & Biases, DVC поддерживают оба фреймворка.
• Распределённое обучение: PyTorch DDP, FSDP, DeepSpeed — зрелые инструменты для multi-GPU/multi-node.

Подводные камни

• Переходить на PyTorch из-за хайпа, когда задача решается XGBoost за час: операционные расходы на GPU неоправданны.
• Недооценивать latency инференса: PyTorch eager mode на CPU медленнее ONNX Runtime в 2-5x; нужен torch.compile или экспорт.
• Использовать PyTorch для feature engineering в real-time: pandas/polars на CPU быстрее для табличных преобразований.
• Игнорировать torch.compile при переходе с PyTorch 1.x: без компиляции теряется 20-50% производительности на современных моделях.
• Обновлять PyTorch без проверки совместимости CUDA toolkit: несовпадение версий даёт RuntimeError при загрузке CUDA-расширений.
• Забывать про memory leak в цикле обучения: накопление тензоров в Python-списке без detach() удерживает весь граф в памяти.
• Сравнивать PyTorch и JAX только по скорости: JAX выигрывает на TPU и функциональном программировании, но требует другого мышления (jit, vmap, pmap).
• Деплоить torch.save-модель без фиксации версии Python и PyTorch: десериализация может сломаться при обновлении окружения.

• Выбирать PyTorch по популярности, а не по требованиям проекта
• Игнорировать опыт команды, эксплуатацию и стоимость поддержки
• Не называть ситуации, где PyTorch будет плохим выбором

• Называет критерии выбора PyTorch
• Учитывает команду, эксплуатацию, стоимость и риски
• Может назвать сценарии, где выбрал бы альтернативу