Jaccard相似系数是交集大小与并集大小之比，适合经分词、去停用词和标准化后的词集合，不适用于原始文本；C++中需用std::unordered_set实现，注意空集处理、哈希查找及预处理质量。
什么是Jaccard相似系数，它适合文本吗
Jaccard相似系数本质是集合运算，定义为 交集大小 / 并集大小。它不关心词频、顺序或语义，只看“是否出现”，所以直接套用在原始文本上效果很差——比如 "hello world" 和 "hello hello world" 的字符级Jaccard几乎为0，但词袋（bag-of-words）层面才合理。
真正可用的路径是：先分词 → 去停用词/标准化 → 转成set → 计算Jaccard。C++没有内置分词库，所以关键不在公式本身，而在如何构造两个std::unordered_set<:string></:string>。
用std::unordered_set实现核心计算逻辑
Jaccard计算本身三行足够，但要注意整数除法陷阱和空集边界：
交集和并集大小不能用std::set_intersection这类算法——它们要求有序，而unordered_set无序；更高效的做法是遍历小集合查大集合：
立即学习“C++免费学习笔记（深入）”；
double jaccard(const std::unordered_set<std::string>& a,
const std::unordered_set<std::string>& b) {
if (a.empty() && b.empty()) return 1.0;
size_t intersection = 0;
const auto& [smaller, larger] = (a.size() <= b.size()) ?
std::tie(a, b) : std::tie(b, a);
for (const auto& s : smaller) {
if (larger.find(s) != larger.end()) intersection++;
}
return static_cast<double>(intersection) / (a.size() + b.size() - intersection);
}
-
a.size() + b.size() - intersection是并集大小，不是a.size() + b.size() - 返回
double，避免int/int截断为0 - 空集情况必须显式处理，否则除零或NaN
分词与预处理：别用std::stringstream简单按空格切
纯空格分割会把标点粘在单词上，比如"hello,"和"hello"被视为不同词。实际中建议：
- 用
std::regex提取连续字母数字序列：std::regex re(R"([a-zA-Z0-9]+)"); - 统一转小写：
std::tolower逐字符处理 - 跳过长度≤2的词（可选），减少噪声，如"a", "an", "is"
- 停用词表用
std::unordered_set<:string></:string>存，查找O(1)
示例片段：
std::unordered_set<std::string> tokenize(const std::string& s) {
std::unordered_set<std::string> tokens;
std::regex re(R"([a-zA-Z0-9]+)");
auto words_begin = std::sregex_iterator(s.begin(), s.end(), re);
auto words_end = std::sregex_iterator();
std::unordered_set<std::string> stopwords = {"the", "and", "or", "in", "on", "at"};
for (std::sregex_iterator i = words_begin; i != words_end; ++i) {
std::string word = i->str();
std::transform(word.begin(), word.end(), word.begin(), ::tolower);
if (word.length() > 2 && stopwords.find(word) == stopwords.end()) {
tokens.insert(word);
}
}
return tokens;
}
性能和精度的现实取舍
Jaccard对短文本（如标题、标签）响应快、可解释性强；但对长文档，它忽略TF-IDF权重，且集合大小增长后交集稀疏，系数普遍偏低。
如果后续要扩展，注意：
-
std::unordered_set插入有哈希开销，10k词以上建议reserve容量 - 中文需先用第三方库（如
cppjieba）分词，不能直接正则切 - 想支持模糊匹配？Jaccard本身不支持——得换用编辑距离或SimHash
- 多线程安全：输入文本各自tokenize是独立的，但共享停用词表需只读
真正卡住人的往往不是公式，而是分词质量。同一段英文，用空格切 vs 正则切 vs 加停用词，结果可能差0.3以上。先打印出两个unordered_set的内容看看，比调公式重要得多。
