Transformer是一种以自注意力机制为核心的并行化神经网络架构，通过Q/K/V投影、位置编码、编码器-解码器结构及多头机制实现高效序列建模。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在了解大语言模型时频繁看到“Transformer”一词，却对其本质感到模糊，则可能是由于它既非单一算法也非具体软件，而是一种以自注意力机制为核心的神经网络架构。以下是快速掌握其关键要素的路径：
一、Transformer 是一种并行化序列建模架构
Transformer 从根本上取代了传统 RNN 类模型的串行处理逻辑，不再依赖前一时刻隐藏状态传递信息，而是让序列中所有元素在同一层内直接交互。这种设计消除了长程依赖衰减与梯度消失风险，并使训练过程可完全并行展开。
1、输入序列被统一映射为嵌入向量矩阵，每个向量代表一个词或子词的语义表征。
2、该矩阵被同时送入多头自注意力模块，不按顺序逐个处理。
3、每个位置的输出向量由所有位置的加权组合生成，权重由 Query-Key 相似度动态决定。
4、加权结果经前馈网络进一步非线性变换，再叠加残差连接与层归一化完成单层输出。
二、自注意力机制是其数学心脏
自注意力通过 Q（Query）、K（Key）、V（Value）三组线性投影实现对序列内部关系的显式建模，核心在于让每个元素自主决定“关注谁”和“采纳多少信息”，而非依赖固定窗口或递归路径。
1、对输入 X 分别乘以可学习权重矩阵 WQ、WK、WV，得到 Q、K、V 矩阵。
2、计算 Q 与 KT 的点积，缩放因子为 √dk，防止 softmax 输入过大。
3、对缩放后矩阵应用 softmax 函数，生成归一化的注意力权重矩阵。
4、将该权重矩阵与 V 相乘，输出即为当前层的上下文感知向量集合。
三、位置编码弥补无序结构缺陷
由于 Transformer 不含卷积或循环结构，原始输入不具备位置感知能力，必须显式注入序列顺序信息。位置编码以确定性方式叠加于词嵌入之上，确保模型能区分“猫追老鼠”与“老鼠追猫”等语序敏感结构。
1、采用正弦与余弦函数交替构造固定频率波形，第 pos 位置第 i 维编码为：sin(pos/10000^(2i/d)) 或 cos(pos/10000^(2i/d))。
将小说章节转换为电影分镜剧本。用户上传txt/md/docx文本，AI分析场景、角色、情绪、镜头语言，输出专业分镜脚本。适用于用户提及“分镜”“storyboard”“小说转分镜”“影视改编”“镜头脚本”或需要将小说改编为分镜的场景。
2、编码维度 d 与嵌入维度一致，保证可直接相加。
3、该设计支持模型外推至训练时未见的更长序列长度。
四、编码器-解码器双分支协同工作
原始 Transformer 架构明确划分为两个功能模块：编码器负责深度理解输入语义，解码器则基于此进行条件化序列生成。二者通过交叉注意力建立桥梁，形成端到端的映射能力。
1、编码器堆叠 N 层，每层含自注意力与前馈网络，输出为上下文增强的隐状态序列。
2、解码器同样堆叠 N 层，但首子层为掩码自注意力，强制屏蔽未来位置信息以维持自回归特性。
3、第二子层为编码器-解码器注意力，其中 Query 来自解码器上一层输出，Key 和 Value 来自编码器最终隐状态。
4、每个子层均配备残差连接与 LayerNorm，保障深层网络训练稳定性。
五、多头注意力扩展表征维度
单头注意力受限于单一投影空间，可能遗漏不同粒度或类型的语义关联。多头机制将 Q/K/V 分别线性投影至 h 个子空间并行运算，再拼接整合，显著提升模型对复杂依赖的捕获能力。
1、将原始嵌入维度 d 拆分为 h 份，每份维度为 d/h。
2、在每个子空间独立执行一次自注意力计算，获得 h 个输出子向量。
3、将 h 个子向量沿特征维度拼接，再经一次线性变换恢复原始维度 d。
4、该操作使模型能在同一层中同时建模句法结构、指代关系、情感倾向等多种抽象模式。
