本文旨在解决在tensorflow/keras中使用预训练模型时，将`keras.applications.vgg16.preprocess_input`直接集成到模型中并结合`modelcheckpoint`回调时遇到的`typeerror: cannot serialize object ellipsis`错误。核心解决方案是将预处理函数封装在`keras.layers.lambda`层中，从而确保模型的可序列化性，并提供加载此类模型时的注意事项。
Keras模型序列化错误：Ellipsis对象与preprocess_input的兼容性问题
在使用TensorFlow和Keras进行深度学习模型开发时，尤其是在进行迁移学习并集成预训练模型的预处理函数时，开发者可能会遇到TypeError: Cannot serialize object Ellipsis of type
问题根源分析
Keras模型的序列化机制依赖于其内部层的配置信息。当一个模型被保存时，Keras会尝试记录所有层的类型、参数以及它们之间的连接关系，以便在后续加载时能够完整地重建模型。keras.applications.vgg16.preprocess_input是一个独立的函数，而非Keras层。当它被直接插入到模型的计算图中时，Keras的序列化机制可能无法正确识别和保存其内部状态或其在图中的表示方式，尤其是在处理像Ellipsis这样的内部占位符或特殊对象时，这些对象并非设计为直接序列化。Ellipsis对象在Python中通常用于切片操作（例如numpy数组中的...），在TensorFlow的内部图构建中也可能出现，代表某种“所有维度”或“未指定维度”的语义。
解决方案：使用keras.layers.Lambda封装预处理函数
解决此问题的关键在于，将非Keras层函数（如preprocess_input）封装在一个Keras层中，使其成为模型图的一部分并具备可序列化性。keras.layers.Lambda层正是为此目的设计的。它允许开发者将任何可调用对象（如Python函数或lambda表达式）包装成一个Keras层，从而使其能够无缝集成到模型中。
通过将keras.applications.vgg16.preprocess_input函数封装在一个Lambda层中，我们实际上是告诉Keras如何处理这个自定义操作，使其在模型保存和加载时能够被正确地识别和重建。
示例代码：集成Lambda层
以下是修改后的模型构建代码片段，展示了如何使用keras.layers.Lambda来解决序列化问题：
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
import tensorflow as tf
from tensorflow import keras
import os, shutil, pathlib
# 假设数据准备部分已成功执行，生成了 train_dataset, validation_dataset, test_dataset
# ... (此处省略数据加载和预处理前的代码，与问题描述中一致) ...
# 创建神经网络
conv_base = keras.applications.vgg16.VGG16(
weights="imagenet",
include_top=False
)
conv_base.trainable = False
data_augmentation = keras.Sequential(
[
keras.layers.RandomFlip("horizontal"),
keras.layers.RandomRotation(0.1),
keras.layers.RandomZoom(0.2)
]
)
inputs = keras.Input(shape=(180, 180, 3))
x = data_augmentation(inputs)
# 核心修改：将 preprocess_input 封装在 Lambda 层中
x = keras.layers.Lambda(
lambda data: keras.applications.vgg16.preprocess_input(data)
)(x)
x = conv_base(x)
x = keras.layers.Flatten()(x)
x = keras.layers.Dense(256)(x)
x = keras.layers.Dropout(0.5)(x)
outputs = keras.layers.Dense(1, activation="sigmoid")(x)
model = keras.Model(inputs, outputs)
model.compile(
loss="binary_crossentropy",
optimizer="rmsprop",
metrics=["accuracy"]
)
callbacks = [
keras.callbacks.ModelCheckpoint(
filepath="features_extraction_with_data_augmentation.keras",
save_best_only=True,
monitor="val_loss"
)
]
history = model.fit(
train_dataset,
epochs=50,
validation_data=validation_dataset,
callbacks=callbacks
)
print("模型训练并保存成功！")通过上述修改，keras.applications.vgg16.preprocess_input现在被视为一个Lambda层，Keras在保存模型时能够正确地处理它，从而避免了TypeError。
加载模型时的注意事项
当模型中包含Lambda层时，加载模型需要特别注意。由于Lambda层可以封装任意Python代码，这涉及到潜在的安全风险。因此，在加载此类模型时，通常需要显式地设置safe_mode=False：
# 假设模型已保存到 "features_extraction_with_data_augmentation.keras"
loaded_model = keras.models.load_model(
"features_extraction_with_data_augmentation.keras",
safe_mode=False # 允许加载包含自定义Python代码的Lambda层
)
# 验证加载的模型
loaded_model.summary()重要提示： 将safe_mode设置为False意味着您信任模型的来源，因为这允许执行模型中包含的任意Python代码。在生产环境中或从不受信任的来源加载模型时，请务必谨慎。
总结
当在Keras模型中直接使用keras.applications模块提供的预处理函数（如preprocess_input）并结合ModelCheckpoint进行模型保存时，可能会遇到TypeError: Cannot serialize object Ellipsis的错误。此问题的根本原因是这些函数并非Keras层，导致序列化机制无法正确处理。通过将这些函数封装在keras.layers.Lambda层中，可以有效地解决此问题，使模型能够被成功保存和加载。在加载包含Lambda层的模型时，请记住设置safe_mode=False，并注意相关的安全考虑。
