TensorFlowMiddleTechnical

В чём разница между model.save() и model.save_weights()?

model.save() сохраняет архитектуру, веса и состояние оптимизатора — модель загружается без исходного кода. model.save_weights() сохраняет только числовые веса — нужна идентичная архитектура при загрузке; используется для transfer learning и checkpointing.

model.save() vs model.save_weights()

Оба метода сохраняют состояние модели, но на принципиально разном уровне абстракции. Выбор между ними определяет, насколько переносима и самодостаточна сохранённая модель.

model.save() — полное сохранение модели

Сохраняет архитектуру, веса, конфигурацию оптимизатора и граф вычислений в единый артефакт. Начиная с TF 2.12, формат по умолчанию — Keras v3 (.keras); также поддерживается SavedModel (директория) и устаревший HDF5 (.h5).

  • Модель можно загрузить без доступа к исходному коду архитектуры.
  • SavedModel включает граф TF-функций — пригоден для TF Serving, TFLite-конвертации, TF.js.
  • .keras-формат хранит конфигурацию слоёв в JSON и веса в отдельных файлах внутри zip-архива.
import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.layers.Dense(128, activation='relu', input_shape=(784,)),
    tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')
# Тренировка...

# Сохранение в .keras (рекомендуется, TF 2.12+)
model.save('model.keras')

# Загрузка — не нужен исходный код архитектуры
loaded_model = tf.keras.models.load_model('model.keras')

# SavedModel формат (для TF Serving)
model.save('/tmp/my_model', save_format='tf')

model.save_weights() — только веса

Сохраняет исключительно числовые значения параметров: kernel и bias каждого слоя. Архитектура не сохраняется. При загрузке модель должна быть воссоздана вручную с идентичной структурой.

  • Компактнее и быстрее: нет метаданных графа.
  • Удобен для transfer learning: загрузить веса в слегка изменённую архитектуру.
  • Стандартный формат — TF Checkpoint (.ckpt); альтернатива — HDF5 (.h5).
  • Checkpoint хранит веса по имени переменной, позволяя частичную загрузку.
# Сохранение только весов
model.save_weights('weights.ckpt')  # TF Checkpoint
model.save_weights('weights.h5')    # HDF5

# Загрузка: модель нужно создать первой
new_model = tf.keras.Sequential([
    tf.keras.layers.Dense(128, activation='relu', input_shape=(784,)),
    tf.keras.layers.Dense(10, activation='softmax')
])
new_model.build((None, 784))  # обязательно до load_weights
new_model.load_weights('weights.ckpt')

# Transfer learning: загрузка только совпадающих слоёв
new_model.load_weights('weights.ckpt').expect_partial()

Сравнительная таблица

  • Что сохраняется: save() — архитектура + веса + optimizer state; save_weights() — только веса.
  • Нужен ли код при загрузке: save() — нет (для стандартных слоёв); save_weights() — да, обязательно.
  • Размер: save() больше (метаданные графа); save_weights() компактнее.
  • Использование: save() для деплоя и архивирования; save_weights() для checkpointing и transfer learning.
  • Совместимость с TF Serving: только SavedModel (через save() с save_format='tf').

ModelCheckpoint Callback

В реальных тренировках чаще используют колбэк, который автоматически сохраняет лучшие веса:

checkpoint_cb = tf.keras.callbacks.ModelCheckpoint(
    filepath='best_model.keras',
    monitor='val_accuracy',
    save_best_only=True,
    save_weights_only=False  # True = аналог save_weights()
)
model.fit(X_train, y_train, validation_split=0.2, callbacks=[checkpoint_cb])

Подводные камни

  • При использовании кастомных слоёв или функций потерь load_model() требует передачи custom_objects={'MyLayer': MyLayer} — иначе ошибка десериализации.
  • save_weights() привязан к имени переменных: переименование слоёв ломает загрузку. Checkpoint ищет переменные по точному имени.
  • HDF5-формат (.h5) не поддерживает сохранение подклассированных моделей (subclassed models) — используйте .keras или SavedModel.
  • Optimizer state (моменты Adam) сохраняется в save() но не в save_weights() — при возобновлении обучения после save_weights оптимизатор «холодный».
  • Формат .keras (Keras v3) несовместим с TF 2.11 и ниже — учитывайте при командной разработке.
  • model.build() перед load_weights() обязателен, иначе размерности не инициализированы и загрузка упадёт с ошибкой формы.
  • SavedModel включает замороженный граф функций; если модель использует training=True ветки, убедитесь, что сохранена правильная сигнатура.
  • Не смешивайте save() и save_weights() для одного чекпоинта — форматы несовместимы при загрузке.

Common mistakes

  • Объяснять save model vs save weights только синтаксисом без shape, dtype, состояния или режима выполнения.
  • Игнорировать leakage, воспроизводимость, пустые входы и скрытые копии данных.
  • Не проверять production-симптомы: latency, память, ретраи, дрейф качества и несовпадение версий.

What the interviewer is testing

  • Может ли связать save model vs save weights с реальным контрактом входов и выходов.
  • Упоминает ли тесты, метрики, reproducibility и диагностику ошибок.
  • Видит ли различие между demo-кодом в ноутбуке и production-пайплайном.

Sources

Related topics