Transformer通过自注意力机制替代RNN/LSTM实现全局依赖建模与并行计算，结合位置编码、多头注意力、前馈网络及编码器-解码器结构，支撑端到端序列生成。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
Transformer 架构的出现彻底重塑了人工智能的技术路径与实践边界。它不再依赖循环或卷积结构来建模序列，而是通过自注意力机制直接捕获任意位置间的依赖关系。以下是对其核心原理与典型应用的展开说明：
一、自注意力机制取代循环结构
传统 RNN 和 LSTM 逐时间步处理序列，存在长程依赖衰减与并行化受限问题。Transformer 用自注意力计算每个词与其他所有词的相关强度，实现全局上下文感知与完全并行计算。
1、对输入词向量分别线性投影为查询（Q）、键（K）、值（V）三组向量。
2、计算 Q 与 K 的点积，除以根号下头维度得到注意力分数。
3、对分数施加 softmax 归一化，生成权重分布。
4、用该权重加权求和 V 向量，输出当前词的上下文增强表示。
二、位置编码弥补序列顺序缺失
自注意力本身不具备位置感知能力，Transformer 引入固定正弦/余弦函数生成的位置编码，将其叠加至词嵌入中，使模型能区分“猫追狗”与“狗追猫”的语序差异。
1、为序列中第 pos 个位置、第 i 维定义编码值：PE(pos,2i) = sin(pos/10000^(2i/d))。
2、对奇数维使用余弦函数：PE(pos,2i+1) = cos(pos/10000^(2i/d))。
3、将生成的 d 维向量与词嵌入向量逐元素相加。
三、多头注意力增强表征多样性
单头注意力易陷入局部最优，多头机制将 Q/K/V 投影到多个子空间并行计算，再拼接融合，使模型可同时关注语法、指代、逻辑等不同维度关系。
1、将原始 Q/K/V 向量分别线性映射为 h 组低维子向量。
2、在每组子空间内独立执行缩放点积注意力运算。
3、将 h 个输出头拼接后，再经一次线性变换压缩回原始维度。
四、前馈网络引入非线性变换
每个注意力层后接两层全连接网络，中间插入 ReLU 激活，用于对注意力输出进行特征再组合与抽象提升，增强模型表达能力。
1、将注意力输出向量送入第一层线性变换，扩展至隐藏层维度 d_ff（通常为 4 × d_model）。
2、应用 ReLU 激活函数，过滤负值响应。
3、通过第二层线性变换，将维度压缩回 d_model。
五、编码器-解码器结构支撑端到端生成
原始 Transformer 采用堆叠式编码器提取输入语义，配合掩码自注意力与编码器-解码器注意力的解码器逐步生成输出，形成完整序列到序列映射框架。
1、编码器由 N 个相同层堆叠，每层含多头自注意力与前馈网络。
2、解码器同样含 N 层，但每层包含三部分：掩码多头自注意力（防止未来信息泄露）、编码器-解码器注意力（对齐源序列）、前馈网络。
3、解码时采用自回归方式，每次仅预测一个 token，并将其作为下一步输入。
