find_all()是BeautifulSoup中批量提取同类标签的核心方法，支持按标签名、属性（如class_）、文本等条件精准筛选，返回ResultSet列表；需结合容器限定、CSS选择器、正则匹配及清洗处理确保提取准确性和鲁棒性。
用 find_all() 批量提取同一类标签的文本
直接遍历所有 p、h1 或自定义 class 的元素，是批量提取最稳的方式。关键不是“找多少”，而是“找得准”——比如你只想取正文里的 p，而不是页脚的 p，就得先限定父容器。
常见错误：写 soup.find_all('p') 结果把导航栏、广告位、版权声明全抓进来了。
- 先定位容器：
soup.find('article')或soup.select_one('.post-content')，再在其内部调用.find_all('p') - 用 CSS 选择器更灵活：
soup.select('div.content p')比嵌套find().find_all()更简洁、可读性更强 - 避免用模糊 class 名如
'text'或'content'—— 很多网站的广告 div 也带这些 class - 提取时优先用
.get_text(strip=True)，而不是.text，前者能自动清理首尾空白，后者遇到嵌套标签可能返回None
按属性值筛选并提取（比如 class="title" 或 data-type="summary"）
很多网页用统一属性标记目标文本，比如 <p class="summary"></p> 或 <span data-role="keyword"></span>。这时硬靠标签名反而不准，得靠属性过滤。
容易踩的坑：属性值含空格或动态生成（如 class="title js-loaded active"），直接写 class="title" 会匹配失败。
立即学习“前端免费学习笔记（深入）”；
将 Markdown 文章转换为微信公众号兼容的纯 HTML 格式。当用户要求"转成微信格式"、"生成公众号文章 HTML"、"排版到微信草稿箱"、"微信粘贴格式"时触发。输出带内联样式的纯 HTML，微信编辑器可直接渲染，无需额外适配。支持标题、段落、列表、粗体、行内代码、表格、引用块、代码块、配图的完整转换。
- 用字典传参支持部分匹配：
soup.find_all('p', class_='summary')（注意下划线）能匹配含summary的任意 class 组合 - 正则辅助更可靠：
soup.find_all('span', {'data-role': re.compile(r'keyword|tag')}) - 对布尔属性（如
hidden、disabled），直接写hidden=True即可，不用管值是不是"hidden" - 若属性值是 JS 动态注入的（比如
data-content-id="123"但实际没渲染），BeautifulSoup 解析原始 HTML 就拿不到——得换 Puppeteer 或 Playwright
提取后去重与规范化处理
批量提取常遇到重复段落、大小写不一致、零宽字符干扰等问题，直接存文件会导致后续分析出错。
比如从多个 strong 标签里抽关键词，"AI"、"ai"、" AI "、"AI\u200b" 会被当成四个不同项。
- 清洗零宽字符：
re.sub(r'[\u200b-\u200d\ufeff]', '', text) - 统一大小写 + 去空格：
text.strip().lower() - 去重用
set()最快，但要注意顺序丢失；如需保序，用dict.fromkeys(...).keys() - 别在去重前就合并所有文本——先按来源分组（如每篇文章一个列表），再各自去重，否则会跨文档误删
批量处理多个 HTML 文件时的路径与编码陷阱
本地批量读 HTML 文件，看似只是循环 open()，但编码不一致、BOM 头、路径含中文，三者任一出问题都会导致 UnicodeDecodeError 或乱码。
错误现象：UnicodeDecodeError: 'gbk' codec can't decode byte 0xad in position 123，或文本开头出现 。
- 打开文件时强制指定
encoding='utf-8-sig'—— 自动跳过 UTF-8 BOM 头 - 用
pathlib.Path处理路径，比拼接字符串更安全：for f in Path('htmls').glob('*.html'): - 捕获异常并记录失败文件：
try: ... except UnicodeDecodeError as e: print(f"skip {f}: {e}") - 别依赖系统默认编码，Windows 上常是
cp1252或gbk，和网页实际编码不一致
p 标签，光靠标签名或 class 名无法区分。得结合上下文位置、兄弟节点密度、文本长度分布，甚至轻量语义验证（比如是否含“本文”“编辑”等词），才能稳定命中目标。 
