Counter统计词频应避免list.count()的O(n²)低效操作,优先用哈希表实现的O(n)单次遍历;注意分词(英文用正则、中文用jieba)、区分交集/并集语义(min/max计数而非集合运算)、防范负值干扰及清洗不一致问题。

用 Counter 统计词频时,别直接用 list.count()
手动遍历 + count() 时间复杂度是 O(n²),数据一过万就明显卡顿。Counter 底层用哈希表,单次遍历完成统计,O(n) 且自带排序友好接口。常见错误是传入字符串却没分词:Counter("hello") 统计的是字符而非单词,得先 .split() 或用正则切分。
实操建议:
- 英文文本优先用
text.split(),但注意标点干扰;更稳的做法是re.findall(r'\b\w+\b', text.lower()) - 中文需先分词(如用
jieba),Counter(jieba.lcut(text)) - 初始化时可传入任意可迭代对象:列表、生成器、甚至另一个
Counter
Counter 的交集和并集不是集合运算,而是按 key 的 min/max
Counter 的 & 和 | 运算符不等价于 set.intersection() 或 set.union()。它们对相同 key 取计数值的最小值(交集)或最大值(并集),value 为 0 的项会被自动过滤掉。
比如:c1 = Counter(['a','a','b']),c2 = Counter(['a','b','b','c']):
立即学习“Python免费学习笔记(深入)”;
Camoufox 是一个基于 Firefox 构建的开源反检测浏览器,为 Python 自动化工作流程提供强大的指纹注入和反机器人检测规避功能。它与 Playwright 集成,以提供能够绕过现代机器人检测系统的隐身浏览能力。
-
c1 & c2→Counter({'a': 1, 'b': 1})(不是{'a','b'}) -
c1 | c2→Counter({'a': 2, 'b': 2, 'c': 1})(不是{'a','b','c'}) - 若真要纯 key 交集:用
set(c1.keys()) & set(c2.keys()) - 若要带权重的“加权并集”(如合并两个语料库统计):直接
c1 + c2
求多个 Counter 的交集/并集,别用循环嵌套 &/|
多个 Counter 连续用 & 是可行的,但容易出错:一旦中间某个结果为空(Counter()),后续所有交集都变空。更可靠的方式是用 functools.reduce(),或手动控制逻辑。
实操建议:
- 多 Counter 交集(取每个 key 在所有 Counter 中的最小出现次数):
from functools import reduce from collections import Counter <p>counters = [Counter(['a','a','b']), Counter(['a','b','b','c']), Counter(['b','b','b'])] intersection = reduce(lambda a,b: a & b, counters)</p><h1>→ Counter({'b': 1})</h1><p> - 避免
reduce报错:确保counters非空,且至少有一个非空Counter - 性能提示:交集操作会丢弃 value=0 的项,所以结果可能比原始 key 更少,不必手动清理
小心 Counter 的负数计数和 sub() 行为
Counter 允许 value 为负数,这会让 & 和 | 出现反直觉结果。例如 Counter({'a': -1}) & Counter({'a': 2}) 得到 Counter({'a': -1})(因为取 min(-1,2) = -1)。而 .subtract() 会保留负值,.update() 才做加法。
常见踩坑点:
- 误用
counter1.subtract(counter2)后直接拿去算交集,负值参与 min/max 导致结果异常 - 想清空计数用
counter.clear(),别用counter -= counter(会留负零) - 需要严格非负统计时,建议在关键步骤后加
+= Counter()(这是官方推荐的“归零负值”技巧)
实际处理文本词频交并集时,最易忽略的是分词一致性——两个语料用不同方式切分(比如一个没去停用词、一个转了小写),交集结果就失去意义。运算本身很快,但前置清洗不统一,后面全白算。

















