本文介绍在内存受限场景下，通过数据采样策略与生成器设计避免keras模型在分块加载数据时发生的灾难性遗忘问题，核心是打破顺序训练依赖，实现跨批次的样本均衡暴露。
本文介绍在内存受限场景下，通过数据采样策略与生成器设计避免keras模型在分块加载数据时发生的灾难性遗忘问题，核心是打破顺序训练依赖，实现跨批次的样本均衡暴露。
在大规模二分类任务中，当训练数据总量远超内存容量时，常见的做法是将数据切分为多个磁盘文件（如每个 .npz 文件含500个样本），再逐文件加载训练。但若直接按文件顺序调用 model.fit()（如原始代码所示），模型会反复优化权重以拟合最新一批数据，导致对早期数据分布的记忆快速退化——即“灾难性遗忘”（Catastrophic Forgetting）。此时模型性能实际仅由最后几个文件（例如最近500个样本）主导，泛化能力严重下降。
根本原因在于：顺序单文件训练违背了独立同分布（i.i.d.）假设。标准SGD及其变体依赖于从整体数据分布中均匀采样的mini-batch，而逐文件训练等价于在非平稳数据流上做连续适应，使参数更新方向持续偏移。
✅ 正确解法：跨文件交错采样生成器
解决方案不是降低学习率或更换优化器，而是重构数据供给逻辑——放弃“按文件训练”，转为“按样本索引训练”。关键思想是：确保每个训练batch都包含来自所有数据文件的代表性样本，从而在单次迭代中隐式覆盖全局分布。
以下是一个生产就绪的生成器实现（适配Keras 2.x，若使用TensorFlow 2.16+建议迁移到 tf.data，但原理一致）：
import numpy as np
from tensorflow.keras.utils import Sequence
class InterleavedDataGenerator(Sequence):
def __init__(self, file_paths, batch_size=32, shuffle=True):
self.file_paths = file_paths
self.batch_size = batch_size
self.shuffle = shuffle
# 预加载所有文件句柄（mmap模式，不占内存）
self.file_handles = [np.load(fp, mmap_mode='r') for fp in file_paths]
# 获取各文件样本数，取最小值作为有效长度（保证每轮都能取到所有文件的样本）
self.n_samples_per_file = [fh['array1'].shape[0] for fh in self.file_handles]
self.max_steps = min(self.n_samples_per_file) # 每轮可生成的最大batch数
def __len__(self):
return self.max_steps # 每轮训练包含 max_steps 个 batch
def __getitem__(self, index):
# 每个batch：从每个文件取第 index 个样本 → 形成 batch_size × features 的矩阵
X_batch = np.empty((self.batch_size, *self.file_handles[0]['array1'].shape[1:]))
y_batch = np.empty((self.batch_size,), dtype=np.uint8)
for i, fh in enumerate(self.file_handles[:self.batch_size]):
X_batch[i] = fh['array1'][index]
y_batch[i] = fh['array2'][index]
if self.shuffle and index == 0: # 简易打乱（更优做法：在 on_epoch_end 中重排索引）
indices = np.random.permutation(len(X_batch))
X_batch = X_batch[indices]
y_batch = y_batch[indices]
return X_batch, y_batch
def on_epoch_end(self):
pass # 可在此处实现更精细的shuffle逻辑
# 使用示例
generator = InterleavedDataGenerator(input_file_names, batch_size=len(input_file_names))
model.fit(generator, epochs=EPOCHS, verbose=2, callbacks=[early_stopping, lr_schedule])⚠️ 注意事项：
- 文件数量需 ≥ batch_size：若文件仅20个，batch_size 不应超过20，否则会索引越界。理想情况是 batch_size == len(input_file_names)，确保每个batch严格包含全部文件的一个样本。
- 内存友好性：mmap_mode='r' 使 np.load 仅映射文件到虚拟内存，物理内存占用接近零；生成器每次只加载 batch_size 个样本（而非整个文件）。
- 样本对齐要求：所有 .npz 文件中 'array1' 和 'array2' 的样本数必须一致（或至少取最小公倍数截断），否则需预处理对齐。
- Keras版本兼容性：fit_generator() 在Keras 2.6+已弃用，请统一使用 model.fit(generator, ...)。
? 进阶建议：结合重放（Replay）与正则化
对于极端长尾或概念漂移场景，单一交错采样可能不足。可叠加以下技术增强鲁棒性：
- 经验回放（Experience Replay）：缓存少量早期文件的代表性样本（如每文件取10个），在每个epoch末尾混入训练；
- 弹性权重固化（EWC）：引入Fisher信息矩阵约束关键参数更新幅度（需自定义损失项）；
- 梯度投影（GEM）：在优化前将新任务梯度投影到旧任务损失的可行域内。
但对绝大多数工业级二分类任务，跨文件交错生成器已是性价比最高的起点方案——它无需修改模型结构、不增加超参复杂度，且能立竿见影地恢复模型对全局数据的记忆能力。
总结而言，灾难性遗忘的本质是数据供给机制失配，而非模型或优化器缺陷。重构为分布感知的数据流，才是在线学习场景下稳健训练的第一原则。
