必须用jieba.lcut而非jieba.cut，因其返回list可直接索引和多次遍历；而jieba.cut返回生成器，仅能遍历一次且不支持下标操作。
中文分词为什么必须用 jieba.lcut 而不是 jieba.cut
因为 jieba.cut 返回的是生成器对象，直接用于后续列表操作（比如停用词过滤、词频统计）会报 TypeError: 'generator' object is not subscriptable；而 jieba.lcut 直接返回 list，可立即参与数据处理流程。
常见错误是写成 words = jieba.cut(text) 后直接做 words[0] 或 for word in words: 循环两次——生成器只能遍历一次，第二次循环就为空。
- 正确写法：
words = jieba.lcut(text) - 若需自定义词典增强分词效果，用
jieba.load_userdict('userdict.txt')，且必须在lcut之前调用 - 电商评论等含大量新词（如“iPhone16ProMax”“拼多多砍价”），建议先用
re.sub清洗掉干扰符号再分词，否则jieba可能切出无效碎片
停用词过滤时容易忽略的三个兼容性问题
停用词表路径、编码、内容格式不一致，会导致过滤失效但无报错，最终情感分析结果严重偏移。
典型现象：打印 len(words) 明显偏大，高频词里仍大量出现“的”“了”“在”，说明停用词没生效。
立即学习“Python免费学习笔记（深入）”；
- 停用词文件必须用
utf-8编码保存，Windows 默认记事本另存为时要手动选“UTF-8 无 BOM” - 读取时用
open(filepath, 'r', encoding='utf-8').readlines()，不能漏掉encoding参数 - 每行一个词，末尾带换行符
\n，所以要用line.strip()去除，否则停用词实际是'的\n'，匹配不上'的'
preprocess_text 函数里哪些清洗步骤不可省略
原始爬取文本常含 HTML 标签、广告水印、重复空格、全角标点，这些不清理会污染分词结果，导致情感词典匹配失败或 TF-IDF 权重失真。
尤其注意：中文情感分析对标点敏感，比如感叹号“！”在某些规则模型中是强正面信号，但若混在 URL 里（如 https://xxx.com/!）就会被误判。
- 必做：
re.sub(r'[^\w\s]', '', text)—— 清除非字母、数字、汉字、空白符的字符（保留空格） - 慎做：
text.lower()—— 中文无需转小写，但若混有英文评论（如电商里的“Good!”），建议只对英文段落处理 - 推荐：
re.sub(r'\s+', ' ', text).strip()—— 合并连续空白符，避免分词出空字符串
情感分析前要不要做词性标注或实体识别
绝大多数轻量级场景（如商品评论打分、舆情倾向判断）不需要。加了反而拖慢速度、引入噪声，且 jieba.posseg 的词性标注准确率在短文本上不稳定。
真正需要词性标注的，仅限两类情况：一是构建领域情感词典（如区分“苹果”作为水果 vs 科技公司），二是训练 LSTM/BERT 模型时作为特征输入。
- 日常用
TextBlob或snownlp做快速情感打分，直接喂jieba.lcut后的词列表即可 - 若用
THULAC或pkuseg，它们默认输出词性，但情感分析模块（如snownlp.SnowNLP().sentiments）并不消费该字段 - 真正影响结果的是停用词质量和情感词典覆盖度，不是词性
preprocess_text，确认“哈哈哈”“yyds”“绝绝子”这类网络词没被误删，也没被漏过滤。 
