CRF层不能用Dense替代，因其需建模标签依赖关系并用转移矩阵与维特比算法实现全局最优解码；必须配合专用loss和decode逻辑，不可仅替换输出层。
CRF层为什么不能直接用 tf.keras.layers.Dense 替代
因为序列标注本质是建模标签间的依赖关系，比如“B-PER”后面大概率接“I-PER”，而 Dense 对每个时间步独立打分，完全忽略转移约束。CRF 层的核心是引入转移矩阵 transitions，在解码时用维特比算法找全局最优标签路径，训练时用前向-后向算法算对数似然损失。
常见错误是把 CRF 当成普通分类头加在 LSTM 后面，却没替换掉 loss 和 decode 逻辑——模型会训得快、指标虚高，但预测时用 argmax 得到的标签序列满是非法组合（比如 “I-PER” 开头、“B-ORG” 后跟 “B-LOC”）。
- 必须用
tf.keras.losses.Loss子类或自定义 loss 函数，调用crf_log_likelihood - 预测阶段不能用
model.predict直接取 softmax 最大值，得调crf_decode - CRF 层本身不参与前向传播计算，它只提供 loss 和 decode 工具函数，实际要自己封装进 model 或自定义 training step
怎么用 tensorflow_addons 实现标准 CRF 流程
tensorflow_addons 提供了开箱即用的 CrfLoss 和 CrfDecode，但要注意版本兼容性：TF 2.10+ 需用 tfa==0.21.0，旧版 TF 可能触发 AttributeError: module 'tfa' has no attribute 'text'。
典型结构是：LSTM/Transformer 输出 logits → 用 tfa.text.crf_log_likelihood 算 loss → 训练；预测时用 tfa.text.crf_decode 得到最佳路径。
立即学习“Python免费学习笔记（深入）”；
- 输入 logits 形状必须是
(batch_size, max_seq_len, num_tags)，且需 mask 掉 padding 位置，否则转移分数会被污染 -
sequence_lengths参数必须传真实长度（不是全 1 的 mask），否则crf_decode会在末尾补错标签 - 别把 CRF 当作 Layer 插入模型：它没有
call()方法，不能像Dense那样model.add()
import tensorflow_addons as tfa
# 在 train_step 中：
logits = self.bert_model(x) # shape: (b, s, t)
log_likelihood, _ = tfa.text.crf_log_likelihood(
logits, y_true, sequence_lengths=seq_len
)
loss = -log_likelihood
手动实现 CRF 层的关键陷阱
有人想绕过 tfa 自己写 CRF，结果卡在梯度回传或维特比路径不一致上。核心问题在于：前向计算 loss 时用了 mask，但反向传播时未对 transition 矩阵做对应裁剪；或者 decode 时没复用训练时的 same transition_params。
最容易被忽略的是初始化：CRF 的转移矩阵不能全零或全随机，否则训练初期 loss 波动极大，甚至 nan。推荐用小范围截断正态分布初始化，并冻结 padding→padding 的转移分（设为极负值）。
- 不要用
tf.random.normal初始化transitions，改用tf.random.truncated_normal([num_tags, num_tags], stddev=0.1) - 确保训练和推理用同一组
transition_params，别在call()里重新生成 - 如果 label 里有
O标签，注意O→B-X应该允许，但I-X→B-Y必须惩罚，这些先验得靠初始化 bias 或后处理约束，CRF 本身不自动学习语法合法性
CRF + BERT 微调时的 batch 内长度不一致问题
BERT 输入要求固定长度（如 128），但 NER 样本实际长度差异大。直接 pad 到最大长会导致大量无效位置参与 CRF 计算，拖慢训练、稀释梯度。
正确做法是动态 batch：按样本长度分桶，每 batch 内长度近似。Keras 原生不支持，得用 tf.data.Dataset.padded_batch 配合 pad_to_multiple_of，再在 loss 计算前用 tf.math.reduce_sum 按 sequence_lengths 截断。
- 别用
tf.keras.preprocessing.sequence.pad_sequences全局 pad，它会把所有样本拉到同一个 max_len - CRF 的
sequence_lengths必须是 int32 类型，传 float32 会静默失败，loss 为 nan - 验证集也要用同样方式 pad，否则 decode 结果长度对不上原始句子
复杂点在于：CRF 不是黑盒 Layer，它强制你暴露并精确控制每个样本的有效长度。这点和纯 softmax 分类完全不同——稍不注意，80% 的 F1 就丢在 padding 上了。
