词嵌入演进分三代：第一代静态词向量（Word2Vec/GloVe）解决语义计算但存在一词一义、OOV等问题；第二代上下文感知嵌入（ELMo/BERT）实现一词多义建模但推理重、不适配检索；第三代专用嵌入模型（SBERT/SimCSE/BGE等）通过对比学习优化句子表示，支持零样本、轻量化及低延迟部署。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
词嵌入不是从Word2Vec突然跳到GPT的，而是一条层层递进、不断补短板的演进路径：每一代技术解决上一代暴露的关键缺陷，同时又带出新问题，推动下一代诞生。
第一代：静态词向量（2013–2017）
Word2Vec（2013）和GloVe（2014）把“语义可计算”真正落地。它们不再用稀疏的One-Hot，而是让每个词对应一个固定稠密向量，靠上下文共现学习语义关系——比如“国王 − 男人 + 女人 ≈ 女王”。
但核心限制很明确：
- 一词一义：不管“苹果”是水果还是公司，向量完全一样
- 无法处理未登录词（OOV）：Word2Vec对生僻词或拼写错误束手无策
- 句子级表示粗糙：只能靠词向量平均或加权，丢失结构与逻辑
FastText（2016）用子词（subword）机制缓解了OOV问题，但仍逃不出“静态”本质。
第二代：上下文感知嵌入（2018–2020）
ELMo（2018）首次打破“固定向量”范式：它用双向LSTM读完整句话，为同一个词生成不同向量。在“苹果手机”和“吃个苹果”里，“苹果”的向量自动不同。
真正引爆工业应用的是BERT（2019）：
构建并排查Microsoft Word邮件合并及DOCX模板工作流，使用合并域、内容控件、文档属性、重复区块、数据等
- 基于Transformer，能建模长距离依赖和复杂句法
- 通过掩码语言建模（MLM）深度理解上下文
- 虽非专为检索设计，但[CLS]向量+微调，已大幅超越Word2Vec在语义匹配任务上的表现
这一代的代价也很实在：模型大、推理慢、需GPU部署，且原始BERT输出的句子向量并不直接适配检索场景。
第三代：专用文本嵌入模型（2021–2025）
为解决BERT“非为检索而生”的问题，Sentence-BERT（SBERT）、SimCSE、BGE、GTE等模型陆续出现。它们统一思路是：用对比学习或监督微调，让模型直接产出高质量、高区分度的句子级向量。
- 训练目标更聚焦：拉近正样本对（同义句），推开负样本对（语义无关句）
- 支持零样本迁移：如BGE-Zh在中文任务中无需微调即达SOTA
- 轻量化部署成熟：支持INT8量化、ONNX导出，可在CPU实时响应
到2025年，GTE、DeepSeek-Embed、通义千问量子级嵌入等已实现亚毫秒级响应、全域动态意图建模，甚至与eBPF内核联动做语义安全审计。
嵌入技术的本质没变，但能力边界持续外推
从Word2Vec到GPT系列，表面是模型架构升级，实质是三个维度的同步进化：
- 粒度进化：词 → 子词 → 短语 → 句子 → 段落 → 多模态单元
- 动态性进化：静态 → 上下文感知 → 任务自适应 → 意图驱动
- 工程化进化：离线查表 → GPU微调 → 轻量API → 内核级语义过滤
今天选Embedding，已不是“用不用BERT”，而是“用哪个专用嵌入模型+如何对齐你的数据分布+是否需要安全/低延迟/多语言等扩展能力”。
