讲师中心 微信公众号
AI工具推荐 视频效率加速

怎么利用 continue 在统计关键词词频时自动忽略所有的语气词及常见虚词

夜芳小哥_6122

夜芳小哥_6122

发布时间:2026-04-30 20:10:31

|

769人浏览过

|

来源于php中文网

原创

用continue忽略语气词和虚词,本质是在遍历分词结果时遇预设无意义词即跳过本次循环;需先定义停用词集合(含语气词、助词、代词等),将continue置于for循环内判断之后、统计之前,并配合正则清洗或strip处理标点粘连。

用 continue 忽略语气词和虚词,本质是在遍历分词结果时,遇到预设的无意义词就跳过本次循环,不参与计数。关键不是“怎么写 continue”,而是它要放在哪个位置、配合什么条件才真正生效。

明确停用词列表,是 continue 生效的前提

语气词(如“啊”“呢”“吧”“哦”)、结构助词(“的”“地”“得”)、代词(“它”“这”“那”)、连词(“和”“但”“或”)、介词(“在”“对”“于”)等,都属于常见虚词。你需要先定义一个清晰的停用词集合:

  • 用列表或集合存储,推荐用 set 提升查找速度(比如 stopwords = {"的", "了", "在", "是", "啊", "呢", "吧", "吗", "哦", "嗯"})
  • 注意中英文标点混杂问题:中文句号“。”、逗号“,”、顿号“、”也常混入分词结果,建议一并加入停用词集
  • 可额外加长度过滤,比如 len(word) ,避免单字干扰(“我”“人”“国”等虽非虚词,但在通用统计中常需排除)

把 continue 放在 for 循环内部的判断之后

continue 必须紧跟在条件判断后,且位于统计逻辑之前。典型结构如下:

words = jieba.lcut(text)
word_count = {}
for word in words:
    if word in stopwords or len(word) < 2:
        continue  # ← 跳过这一轮,后面 word_count 不执行
    word_count[word] = word_count.get(word, 0) + 1
  • 如果写成 if not (word in stopwords): word_count[...] ,就不用 continue,但逻辑易出错;用 continue 更直观、更不易漏掉跳过场景
  • 顺序不能颠倒:必须先判断是否该跳过,再做计数。否则虚词已被计入,continue 就失去意义

结合正则清洗,减少分词后残留干扰

有些语气词会带标点粘连,比如“好啊!”“真的吗?”,直接分词可能得到“好啊!”而非“好啊”。这时仅靠 continue 过滤“啊”没用——因为实际匹配的是“啊!”。建议前置清洗:

  • 用 re.sub(r'[^\w\u4e00-\u9fff]+', ' ', text) 去除所有非中文、非字母数字字符(保留中文、英文字母、数字),再分词
  • 或在分词后统一 strip(): word = word.strip('!?.,;:,;:!?\n\t '),再判断是否为空或在停用词中
  • 这样能确保 “啊!” → “啊”,才能被 word in stopwords 正确捕获

用 Counter 配合列表推导式,让 continue 逻辑更简洁

如果你用 collections.Counter,可以将过滤逻辑提前到生成词列表阶段,代码更紧凑,语义更清晰:

words = jieba.lcut(text)
filtered = [w for w in words if w not in stopwords and len(w) > 1]
word_counts = Counter(filtered)
  • 这里虽没显式写 continue,但列表推导式的 if 条件起到完全相同的作用:不满足就跳过该元素
  • 这种写法可读性高,且天然规避了手动管理字典键值的潜在错误(比如忘记初始化)
  • 如需调试,可单独打印 filtered 查看哪些词被留下,验证停用词过滤是否合理

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

11377

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

8482

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

7312

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1224

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

988

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

1456

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2989

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

20251

2023.08.03

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

20

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn