BERT的动态词嵌入指同一词在不同句子中生成不同向量，因其通过自注意力实时融合整句上下文，使“苹果”在水果与公司语境中获得语义分明的向量表示。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
BERT的动态词嵌入，指的是同一个词在不同句子中会生成不同的向量表示——不是因为模型参数在变，而是因为它实时融合了整句上下文信息。这种“一词多向量”的能力，让模型能自然区分“苹果”是水果还是公司、“bank”是银行还是河岸。
动态嵌入的核心机制：上下文感知的自注意力
BERT不靠查表，而是通过Transformer的自注意力层，在前向传播时动态计算每个词与句中所有其他词的关系权重。比如“苹果”出现在“我买了个苹果”和“我在苹果工作”中，模型会分别强化它与“买了”“个”或“在”“工作”的关联，最终输出语义差异明显的向量。
- 输入进BERT的是token序列（含[CLS]、[SEP]等特殊标记）
- 每个token的向量是词嵌入 + 位置嵌入 + 段嵌入三者相加后的结果
- 这个初始向量再经过12或24层Transformer编码器逐层更新，每层都重新加权聚合上下文
- 最终某位置的输出向量，已隐式编码了整句话的结构和语义约束
静态Embedding的固定性与局限
Word2Vec、GloVe这类传统方法训练完成后，每个词只对应一个固定向量。它像一张静态身份证——无论“苹果”出现在菜市场还是招聘启事里，向量值完全一样。
- 训练阶段虽用上下文（如滑动窗口）学习，但目标是收敛出唯一稳定向量
- 部署后不再响应新语境，无法建模多义性、指代消解、情感极性漂移等问题
- 对未登录词（OOV）处理弱，依赖预定义词表；而BERT用WordPiece可拆分生词
实际效果差异：不只是理论区别
在下游任务中，这种差异直接反映在性能上：
- 命名实体识别（NER）：静态嵌入常把“Apple Inc.”和“apple pie”中的“Apple”标成同一类；BERT能根据前后词自动区分
- 语义相似度计算：两句话都含“bank”，静态方法算出高相似度；BERT给出低相似度，因向量已分化
- 问答系统：问“Python是哪种动物？”，BERT能抑制编程语言含义，聚焦生物语义；Word2Vec容易混淆
别被“参数固定”误导：动态≠模型在训练
有人误以为“动态”是指BERT边推理边更新参数。其实两者参数都是冻结的——区别在于计算路径：
- Word2Vec：查表 → 输出固定向量（一步到位）
- BERT：输入句子 → 经过完整前向网络 → 每个token输出随输入变化的向量（路径依赖）
- 本质是“函数映射”不同：fstatic(word) vs fdynamic(sentence, position)
所以BERT的动态性，是架构设计带来的表达力跃迁，不是运行时的参数调整。它让词向量从“名词卡片”变成了“语境快照”。
