评估WordEmbedding模型需从语言学特性、下游任务和空间几何三方面综合判断：WordSim353测语义相似度，TOEFL与类比任务验词汇辨析与线性关系，Coherence检局部结构；文本分类、NER等验证实用性能；Alignment/Uniformity及MTEB等基准测表征健康度。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
评估 WordEmbedding 模型，不能只看训练损失下降了多少，关键得看它在真实语义任务中“懂不懂词”。核心思路分三类：语言学特性检验、下游任务验证、空间几何性质分析。
一、语言学特性测试（微观语义能力）
这类指标不依赖标注数据，直接考察词向量是否符合人类对语义关系的直觉：
- WordSim353（WS）：含353对词，每对有人工打分的语义相似度（0–10）。用余弦相似度与人工评分算 Spearman 相关系数，越高说明模型越能反映“多像”。
- TOEFL 同义词检测：给定一个目标词和4个候选，选出最接近的同义词。统计准确率，检验词汇辨析能力。
- 类比任务（Analogy）：分语义（sem，约9K题）和句法（syn，约10.5K题），例如 king − man + woman ≈ queen 或 dancing − dance + predict ≈ predicting。用向量运算后最近邻召回，报告 top-1 准确率。
- Coherence（一致性）：给定 target word（如“苹果”），让模型分别召回 rank=1、rank=2、rank=100 的词，混入干扰项组成选择题，请人工识别“哪个是入侵词”。被选为入侵词次数越少，局部语义结构越合理。
二、下游任务验证（实用性能）
把词向量当作特征或初始化参数，嵌入真实任务中看效果：
- 文本分类：用词向量平均或加权（如 TF 权重）表示句子，接简单线性分类器，在 AG News、MRPC 等数据集上测准确率。
- 命名实体识别（NER）：将词向量作为 BiLSTM-CRF 模型的输入层，在 CoNLL-2003 等数据集上评估 F1 值。
- 情感分析：以词向量初始化 CNN 或 LSTM，在 SST、IMDB 上做零样本或微调评估。
- 聚类任务（Categorization）：对已知类别的词（如动物、水果、工具）做 KMeans，用纯度（Purity）或调整兰德指数（ARI）衡量聚类质量。
三、空间几何与对齐性质（深层表征健康度）
高质量 embedding 不仅要“语义准”，还要“空间稳”：
- Alignment & Uniformity：Alignment 衡量语义相同文本对（如 paraphrase）的向量夹角是否小；Uniformity 衡量整体 embedding 分布是否均匀（避免塌缩到某一小区域）。常用公式：−log Ex,y∼pdata[exp(−‖f(x)−f(y)‖²)] 和 log Ex,y∼puniform[exp(−‖f(x)−f(y)‖²)]。
- BEIR / MTEB / C-MTEB 基准：MTEB 覆盖 58 个数据集、8 类任务（检索、聚类、重排等），C-MTEB 是其中文专项版（35 数据集、6 任务）。单次运行即可输出综合得分，适合横向对比不同模型。
- STS-B / SICK 相似度任务：提供句子对及人工标注相似度（0–5），计算 embedding 余弦相似度与标注分数的 Pearson/Spearman 相关系数，专用于 sentence-level embedding。
四、实操建议与常见误区
选对方法比堆指标更重要：
- 小语料优先用 Skip-gram，大语料可试 CBOW；维度建议 ≥50，语义类比任务中 300 维常显著优于 100 维。
- 停止训练别看 loss，要用验证集上的类比准确率或 WS 相关系数来早停。
- 不要只信公开 benchmark 排名——你的领域术语、长尾词、短语结构可能完全不同，务必在业务数据上抽样评测（比如随机采 10 万 query，跑召回+人工校验）。
- 对齐（Alignment）差 → 检查正样本构造是否合理；均匀性（Uniformity）差 → 可能存在 batch 内重复或负采样偏差。
