直接用get_text()会得到空行和乱码，因其仅剥离标签而不过滤语义噪声，需先decompose干扰标签、再定位正文容器、最后正则清洗零宽字符与空行。
为什么直接用 get_text() 会得到一堆空行和乱码
因为网页里大量存在 、
<br>、连续换行、脚本注释、广告 div 的残留文本，
get_text() 只做标签剥离，不做语义过滤。它把导航栏、页脚、侧边栏的文本也全吞进来，还保留了大量不可见字符（比如 \u200b 零宽空格）。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 先用
soup.find_all(['script', 'style', 'nav', 'footer', 'aside', 'header'])批量.decompose()掉干扰区块 - 再对目标正文容器（如
article或.post-content）调用get_text()，而不是整个body - 最后用正则清理：
re.sub(r'[\u200b\u200c\u200d\ufeff]+', '', text)去零宽字符，re.sub(r'\n\s*\n', '\n\n', text)合并空行
如何用正则辅助 BeautifulSoup 定位“真正正文”的容器
很多网站没有规范的 article 或 main 标签，但正文区域往往有可识别的模式：字数最多、p 标签最密集、或包含特定关键词（如“本文”“作者”“编辑”）。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 遍历所有
div和section，用len(elem.get_text())和len(elem.find_all('p'))计算“正文得分” - 对高分候选元素，用
re.search(r'本文.*?完|编辑.*?：|作者.*?：', elem.get_text()[:200])做轻量语义验证 - 避免用模糊匹配如
re.search(r'内容|正文', ...)—— 很多广告文案也含这些词
strip() 和 replace() 处理不了的换行问题怎么破
HTML 中的视觉换行可能来自
<br>、
<p></p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/xiazai/skill5806" title="html-deploy"><img
src="https://img.php.cn/upload/skill/000/000/081/179066538882434.jpg" alt="html-deploy" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/xiazai/skill5806" title="html-deploy">html-deploy</a>
<p>使用 htmlcode.fun 将 HTML 内容或文件部署到网页，适用于用户要求“部署到网页”“托管此 HTML”“生成此前端...的实时链接”等场景。</p>
</div>
<a href="/xiazai/skill5806" title="html-deploy" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div>、<div>、CSS <code>display: block，甚至 white-space: pre-line。单纯字符串替换会误伤段内换行（如诗歌、代码块）。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 在 BeautifulSoup 解析后，用
soup.select('p, h1, h2, h3, li')提取块级语义单元，每个单元.get_text(strip=True)后手动加\n\n - 对纯文本清洗阶段，用
re.sub(r'([^\n])\n(?![\n])', r'\1 ', text)把非空行尾的单换行替为空格（保留段落分隔） - 慎用
text.replace('\n', ' ')—— 它会让“第一段\n\n第二段”变成“第一段 第二段”，丢失段落结构
为什么清洗后还是有“相关阅读”“延伸链接”混在正文里
这类模块常藏在正文 div 内部，用 class 名（如 related-posts、see-also）或位置（末尾 20% 区域）标识，但没被 decompose() 覆盖。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 提取正文后，按行切分（
lines = text.split('\n')），统计每行非空白字符数；连续多行字数骤降（如从平均 80 字降到 ≤10 字）的位置大概率是干扰项起始点 - 用
soup.select('.content > *')获取子节点顺序，跳过最后两个div或section（多数网站把相关推荐放最后） - 如果页面含“阅读更多”按钮，其前后文本通常不属正文 —— 查找
soup.find(string=re.compile(r'阅读更多|点击展开'))并移除其父节点
真正难的不是写正则，而是判断哪段文本“该留”——这取决于目标站点的 DOM 规律，没法一套规则通吃。每次换网站，至少要人工抽检 3–5 篇页面，观察干扰模块的共性特征，再固化成选择器或正则条件。
