核心是选择tf.keras.Model而非Sequential，因其支持灵活结构、自定义loss及下游任务接入；bottleneck用linear激活，decoder末层依输入范围选sigmoid或tanh；输入须归一化，loss依数据分布选binary_crossentropy或mse，并在降维后对latent特征二次标准化。
TensorFlow 实现 Autoencoder 降维，核心不是“能不能”，而是“要不要用 tf.keras.Sequential 还是 tf.keras.Model”——前者适合快速验证，后者才能灵活控制编码器/解码器结构、支持自定义 loss（比如加 L1 稀疏约束）、便于后续接入下游任务。
用 tf.keras.Model 写清晰可调试的 Encoder-Decoder 结构
很多人一上来就堆 Sequential，结果发现 encoder 输出后没法直接接 classifier，或者想在 bottleneck 层加噪声做 denoising autoencoder 就卡住。用 Model 显式定义输入输出，结构一目了然：
import tensorflow as tf <p>input_dim = 784 # MNIST flattened latent_dim = 32</p><p>inputs = tf.keras.Input(shape=(input_dim,)) x = tf.keras.layers.Dense(128, activation='relu')(inputs) x = tf.keras.layers.Dense(64, activation='relu')(x) encoded = tf.keras.layers.Dense(latent_dim, activation='linear')(x) # 注意：这里不用 sigmoid/tanh，保留数值范围</p><p>x = tf.keras.layers.Dense(64, activation='relu')(encoded) x = tf.keras.layers.Dense(128, activation='relu')(x) decoded = tf.keras.layers.Dense(input_dim, activation='sigmoid')(x)</p><p>autoencoder = tf.keras.Model(inputs, decoded) encoder = tf.keras.Model(inputs, encoded) # 单独拎出 encoder，用于降维
-
activation='linear'在 bottleneck 层很关键：避免梯度压缩，也方便后续做 PCA 对比或 t-SNE 可视化 - decoder 最后一层用
'sigmoid'是因为 MNIST 输入归一化到了 [0,1]；若输入是 [-1,1] 或未归一化，这里得换'tanh'或去掉激活 - 别忘了调用
encoder.predict(x_test)才能得到降维后的(N, latent_dim)特征
训练时必须做输入归一化，否则 loss 不下降或 nan
Autoencoder 对输入尺度极度敏感。TensorFlow 默认 float32，但如果你喂的是 uint8 图像（0–255）或原始文本 TF-IDF（可能带极大稀疏值），model.fit() 很可能跑几轮就 loss=nan 或 stuck 在 0.8+ 不动。
- MNIST 示例中必须做：
x_train = x_train.astype('float32') / 255. - 如果是自定义数据，推荐用
sklearn.preprocessing.StandardScaler或MinMaxScaler，而不是只除 255 —— 特征量纲差异大会拖垮隐藏层权重更新 - 注意：scaler 要在 train 上
fit_transform，在 test 上只transform；否则数据泄露，降维结果不可信
重构 loss 选 binary_crossentropy 还是 mean_squared_error？
这不是理论题，是实操选择：
立即学习“Python免费学习笔记（深入）”；
- 输入已归一化到 [0,1]（如 MNIST / CIFAR 预处理后），优先用
binary_crossentropy—— 它对低亮度区域重建更敏感，视觉效果通常更好 - 输入是 center-normalized（均值为 0），比如用
StandardScaler处理过的表格数据，必须用mean_squared_error；否则binary_crossentropy会因负值报错或输出异常 - 不要用
sparse_categorical_crossentropy，那是给分类标签用的，和 autoencoder 无关 - 编译时记得加
metrics=['mae']，比只看 loss 更直观判断重建质量
真正容易被忽略的点是：降维后特征没做 whitening 或标准化，直接喂给 KMeans 或 SVM 效果常比 PCA 差——Autoencoder 学到的 latent 表示不是各向同性的，建议在 encoder.predict() 后再套一层 StandardScaler 再进下游模型。
