decompose() 更适合清理无关标签，因其直接从DOM树彻底删除节点及子节点，不残留引用；而extract()仅断开连接并返回对象，易导致内存泄漏或重复操作。
为什么 decompose() 比 extract() 更适合清理无关标签
清理 HTML 时，目标不是“保留什么”，而是“干掉什么”——比如广告 div、导航栏、页脚、script/style 标签。用 decompose() 直接从 DOM 树中彻底删除节点及其所有子节点，内存里不留痕迹；而 extract() 只是断开连接、返回节点对象，稍不注意就可能意外保留引用或重复操作。
- 常见错误：用
extract()后没丢弃返回值，导致内存里还存着几百 KB 的无用 HTML 片段 - 使用场景：批量清洗新闻页正文前，先干掉
<header></header>、<nav></nav>、<aside></aside>、<footer></footer>和所有<script></script>/<style></style> - 性能影响：对大页面（>2MB），
decompose()比反复extract()+del快 15–20%，因为不构造新对象
用 select() 定位要删的标签比 find_all() 更稳
CSS 选择器在复杂嵌套结构里更可靠。比如删所有 class 包含 ad- 或 banner 的元素，写成 soup.select('[class*="ad-"], [class*="banner"]')，比用 find_all(class_=re.compile(r"ad-|banner")) 少一层正则解析开销，也避开了 class_ 参数对多 class 值（如 class="ad-main hidden"）匹配不准的问题。
- 容易踩的坑：用
find_all("div", class_="ad-box")会漏掉<div class="ad-box js-hide">，因为 <code>class_参数默认做全匹配，不是子串匹配 - 参数差异：
select()支持[attr^="val"]（前缀）、[attr$="val"]（后缀）、:not(...)，比find_all()的 keyword 参数灵活得多 - 兼容性注意：BeautifulSoup 4.7.0+ 才完整支持
:has()，老版本别写soup.select("article:has(> h1)")，会静默失败 - 实操建议：一律显式传参，比如
elem.get_text(strip=True, separator=" ")，避免依赖默认行为 - 常见错误现象：正文段落粘连成一长串、列表项之间无换行、表格内容挤在同一行
- 性能提示：如果只要纯文字且不关心结构，用
get_text()比遍历.strings手动拼接快 3–5 倍；但若需保留段落边界，就得用.stripped_strings配合"\n".join() - 必须检查的点：
soup.select("noscript, [style*='display:none'], [style*='visibility:hidden'], .hidden, [class*='hide']") - 容易被忽略的细节：内联 style 是字符串，
style="display: none !important"里的空格和!important会让简单in判断失效，所以用re.search(r"display\s*:\s*none", elem.get("style", ""))更稳妥 - 风险提示：删
<noscript></noscript>前先确认它里面没有真实内容；曾遇到某电商页把商品描述全塞进<noscript></noscript>，删了就丢正文
get_text() 的 strip 和 separator 参数决定正文可读性
清理完标签后，调 get_text() 不只是“转文本”，空格、换行、分隔符怎么处理，直接影响后续 NLP 或人工校验。默认行为会把 <p>Hello</p>
<p>World</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac"><img
src="https://img.php.cn/upload/skill/001/246/273/6adaf20dbae7c507.jpg" alt="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac">macOS UI 自动化技能包 —— 用 Python 控制你的 Mac</a>
<p>让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript
系统要求
macOS 14+ (Sonoma)
Python 3.9+
需要开启：辅助功能 + 屏幕录制权限</p>
</div>
<a href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div>
<p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记（深入）</a>”；</p> 拼成 "HelloWorld"，中间没空格——这显然不是想要的。
别忘了 <noscript></noscript> 和内联 style 里的隐藏内容
有些站点把正文藏在 <noscript></noscript> 里（SEO 折衷），或用 style="display:none" / class="hidden" 控制显示，但这些节点默认不会被 decompose() 自动识别——你得主动查、主动删。
真正麻烦的从来不是删多少，而是删得够不够干净——比如一个 <div class="content"> 里混着 3 层广告容器，你只删了最外层，里面两个还在。动手前先 <code>print(len(soup.select(".ad, script, style"))) 看数量，删完再对一遍，比靠感觉靠谱。
